Comment exclure un dossier sur une recherche avec grep sur linux ubuntu

Il est possible de faire une recherche de façon récursive (donc en cherchant aussi dans les répértoires et sous répertoires) avec la fonction grep de linux.

exemple:

Si vous souhaitez exclure un dossier de votre recherche, il suffit d’utiliser l’option --exclude-dir

exemple:

Bloquer le crawler http://www.80legs.com par iptable sur ubuntu

80legs.com vous permet de crawler un site web, un service en ligne (du genre Link Examiner ou Xenu), des services gratuits et payants.

Un service pratique pour certains, dérangeant pour d’autres (moi)…

Alors comment le bloquer ?:

Je voulais faire un blocage IP avec une règle IPTABLE dans un premier temps, mais je me suis rendu compte que plusieurs adresses Ip étaient utilisés…

Alors j’ai opté pour un blocage par texte:

Remplacez les XXX.XXX.XXX.XXX par l’adresse IP de votre serveur en question.

Bloquer une adresse ip sur un serveur ubuntu avec iptable

iptables -A INPUT -s 204.236.243.38 -j DROP

Quelques commandes iptable utiles (filtrage etc )

Sauvegarde de la configuration iptable

iptables-save

Restauration d’une sauvegarde de règles iptable

iptables-restore

Afficher la liste des règles iptable de votre serveur

iptables -L

Affichage les liste des règles INPUT appliquées dans iptable

iptables -L INPUT -nvx

Retirer – supprimer toutes les règles iptable

iptables -F

Ajouter le filtrage d’une plage d’adresse ip (159.226.202.0/24)

iptables -A INPUT -s 159.226.202.0/24 -j DROP

Liens
help.ubuntu.com
spamcleaner.org

korben.info

Logs serveur EC2LinkFinder : 204.236.243.38 : amazon.com inc

User Agent: EC2LinkFinder, This User Agent is not a known bot.

Le serveur est en train de faire un check de toutes les pages d’un site…

Je suspect amazon de crawler / aspirer le site
Bon allé j’aime pas trop…, je bloque

iptables -A INPUT -s 204.236.243.38 -j DROP

Le temps de mise en cache par le navigateur des fichiers de votre site peut se faire en configurant le fichier .htacces et le module mod_expires.c

Pour activer le module mod_expires.c utilisé dans le fichier .htaccess:

sudo a2enmod headers

Redemarrer le serveur apache ensuite:

sudo /etc/init.d/apache2 restart

Configuration du fichier .htaccess:

<IfModule mod_expires.c>
        ExpiresActive On
        ExpiresByType image/jpg "access plus 7 days"
        ExpiresByType image/jpeg "access plus 7 days"
        ExpiresByType image/png "access plus 7 days"
        ExpiresByType image/gif "access plus 7 days"
        AddType image/x-icon .ico
        ExpiresByType image/ico "access plus 7 days"
        ExpiresByType image/icon "access plus 7 days"
        ExpiresByType image/x-icon "access plus 7 days"
        ExpiresByType text/css "access plus 7 days"
        ExpiresByType text/javascript  "access plus 7 days"
        ExpiresByType application/javascript  "access plus 7 days"
        ExpiresByType application/x-javascript "access plus 7 days"

</IfModule>

Pour les fichiers javascript(.js) on utilise application/javascript

Vous voulez faire une recherche dans vos logs avec une exclusion de plusieurs mots ?
Donc tous les résultats / lignes ne contenant pas mot1 ni mot2 ni mot3

cat /dossier/fichierLogs.txt grep -v -e "mot1" -e "mot2" -e "mot3"

Nb:
Pour combiner avec une recherche contenant mota et motb

monFichierDeLog.txt | grep "mota.*motb" | grep -v -e "mot1" -e "mot2" -e "mot3"

Lien
http://www.zenbien.com/grep-recherche-plusieurs-mots-et-and

Pour faire une recherche (de logs par exemple) en prenant en compte plusieurs mots dans le résultat, un ET / AND / & logique …
Il existe plusieurs solutions:

Solution 1:

cat monFichierDeLog.txt | grep mot1 | grep mot2

Solution 2:
On utilise les expressions régulières (.* veut dire tout caractères de 0 à infini)
Dans ce cas il faut etre sûr que le mot1 arrive avant le mot2 qui arrive avant le mot3 etc…

cat monFichierDeLog.txt | grep "mot1.*mot2"

Pour faire une recherche de texte dans un dossier et ses sous dossiers de façon récursive, vous pouvez utiliser la commande grep avec l’option -R

Options:
-c => compte le nombre de lignes trouvées
-i => prend pas en compte la casse (minuscule / majuscule)
-R => recherche aussi dans les sous dossiers

Expression régulière pour le texte à chercher:
. => tout caractères

* => quantificateur, 0 ou plus
+ => quantificateur, 1 ou plus
? => quantificateur, 0 ou 1
{10} => 10 fois

^ => la ligne commence par
$ => la ligne se termine par

[a-z] => alpha
[0-1] => numérique
[a-z0-1] => alphannumérique
[^dean] => ne contient pas dean

grep -R leTexte *

Librairie d’image GD

apt-get install php5-gd

Encore des détections de faille sur ce serveur …

EHCP: Easy Hosting Control Panel, interface de gestion de domaines sur un servceur linux

La faille est corrigé sur les dernières version.

L’adresse ip qui a tenté la faille:

82.204.11.106 (Netherlands)
ISP:BBNED NV

Sur linux Multitail permet de faire du tail mais avec plusieurs fiichiers en même temps …
Commandes sur ubuntu server

Installation

sudo apt-get install multitail

Du log en direct

 multitail -f /dossierlogs/log1.log -f /dossierlogs/log2.log -f /dossierlogs/log3.log

Affichage horizontal avec -s 2

 multitail -s 2 -f /dossierlogs/log1.log -f /dossierlogs/log2.log

Tronquer les lignes trop longues…avec -p l

 multitail -p l -f /dossierlogs/log1.log -f /dossierlogs/log2.log

Résultats ne contenant que … -e, dans cete exemple on affiche les résultats en provenance d’une recherche

 multitail  -f -e "q=" /dossierlogs/log1.log -f -e  "q="; /dossierlogs/log2.log 

L’inverse, omettre certains caractères avec -ev

 multitail  -f -ev  "q=" /dossierlogs/log1.log  -f -ev  "q=" /dossierlogs/log2.log 

liens
http://www.vanheusden.com/multitail/examples.html
http://blog.nicolargo.com/2008/06/multitail-le-tail-ultime.html
ftp://ftp.linux-kheops.com/pub/lgazette/html/2003/095/lg95-E.html

Pour consulter vos logs apache, vous utilisez sans doute la commande tail -f qui permet d’afficher en temps réel les logs de votre serveur, mais si vous avez plusieurs sites sur ce serveur il serait bien plus pratique de pouvoir consulter tous vos logs en même temps.
Bien entendu vous pourriez ecrire tous vos logs dans le même fichier, mais ce n’est pas bien pratique pour faire ds stats avec.

Pour combiner l’affichage de plusieurs logs apache (plusieurs fichiers de log dans une page) il existe un utilistaire bien pratique (multitail).

Installation multitail, testé sur ubuntu server

sudo apt-get install multitail

multitail /dossierlogs/log1.log /dossierlogs/log2.log /dossierlogs/log3.log

perte de mot de passe, non? pas possible !!

Pas de panique, une fois que vous aurez essayé vos dix milles mots de passe allez faire un petit tour sur le mode rescue du manager OVH… ( la doc ici )

Attention cette manipulation est à faire seulement si vous êtes familiarisé un minimum avec les commandes linux …

1: aller dans le manager ovh services et passez en mode rescue-pro, vous recevrez les identifiants de connexion par mail
MANAGER services -> netboot = rescue-pro

2:faites un reboot du serveur (pour que le mode rescue-pro soit fonctionnel)
MANAGER services -> rebooter

3:connectez vous au serveur en ssh, montez les disques

#affichage des partitions
fdisk -l
#montage de la partition boot  (avec astérix)
mount /dev/sda1 /mnt/
#montage du home (la deuxième partition)
mount /dev/sda2 /mnt/home

4:passez en mode root

chroot /mnt/

5: changez votre mot de passe

passwd

6:reboot soit en console soit via MANAGER ovh

/sbin/reboot

Sur ubuntu – debian
utilisez la fonction ntpdate pour mettre à jour l’heure du serveur

Installation si besoin

apt-get install ntpdate

Mise à jour

ntpdate chronos.cru.fr

Les serveurs de temps en france
http://www.cru.fr/services/ntp/index

Et oui impossible de supprimer un dossier avec filezilla…
ceci est un problème d’encodage avec les caractères spéciaux.

Ma solution:
- supprimer les fichiers à partir d’une console linux…

Sous ubuntu server j’ai utilisé lftp

apt-get install lftp
lftp
open ftpperso.free.fr
user monCompteFree
rmdir leDossierAvecAccent

version 3.3.10

le fichier de configuration est dans libraries

nano libraries/config.default.php

pour pouvoir ecrire avec fopen il faut activer allow_url_fopen dans php.ini

allow_url_fopen = On

Il faut aussi changer les droits en écriture du fichier

chmod 755 monFichier

Pour une prise en compte du .htaccess il faut mettre l’option AllowOverride sur on

AllowOverride All

les fichiers

/etc/apache2/apache2.conf
ou dans les virtualhost /etc/apache2/sites-enabled/
ou /etc/httpd/conf/httpd.conf (centos)

pour mettre plusieurs domaines dans un serveralias, il suffit de les séparer par des espaces

ServerAlias domaine1.com *.domaine2.com domaine3.com

il faute mettre l’option AllowOverride sur on

sur ubuntu

sudo a2enmod rewrite 

sinon voir /etc/apache2/apache2.conf
ou dans les virtualhost /etc/apache2/sites-enabled/
ou /etc/httpd/conf/httpd.conf (centos)

redemarrer apache sur ubuntu

sudo /etc/init.d/apache2 restart