Dans notre série d’articles baptisés LSCI (La sauvegarde c’est important), nous vous avons déjà présenté pas mal de méthodes de sauvegarde. Ici, nous voulons vous présenter la méthode que nous utilisons pour sauvegarder ce site web. Dans ce tutoriel, nous allons donc voir comment sauvegarder son serveur web grâce à un script.
Nous passerons en revue toutes les parties de ce script pour vous donner des excplications au fur et à mesure de l’avancement du tuto.
Création du script
Dans cette première partie, nous débuter la création de notre script par la définition de nos variables. Ces variables serviront à ne pas avoir à définir certaines informations plus tard. Nous allons y définir toutes sortes de choses comme les chemins d’accès aux exécutables, le format de la date, les logins et mots de passe utilisés, le fichier de logs utilisé ainsi que les couleurs qui seront utilisées dans les fichiers de logs.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | #!/bin/bash # Made by REWOP it (https://techarea.fr) # With this, you can make a backup of your websites (full) # Variables tar_bin="/bin/tar" date_day=`/bin/date +%Y%m%d` dir_backup_web="/backup/${date_day}/sites" dir_sites="/var/www" mysqldump_bin="/usr/bin/mysqldump" mysql_bin="/usr/bin/mysql" dir_backup_db="/backup/${date_day}/databases" gzip_bin="/bin/gzip" rclone_bin="/usr/sbin/rclone" date_old=`date --date='10 days ago' +%Y%m%d` dir_backup="/backup/" mysql_user="user" mysql_password="PWD" logfile="/var/log/backup/backup_${date_day}.log" ret="0" # Define the color for function showmsg() green="\\033[0;32m" stand="\\033[0;39m" red="\\033[0;31m" yellow="\\033[33m" |
Nous allons maintenant créer la fonction qui permettra aux messages affichés sur l’écran et dans les logs de ressortir en couleur. Nous utiliserons une couleur différente pour chaque type de message.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | # Function for show the message on screen and log file # Use this function with this example (return success message without log / return error message with log) # do_showmsg "success" "nolog" "Backup is valid" # do_showmsg "error" "log" "Config file is not found" do_showmsg() { # Local variables local usecolor="$1" local uselog="$2" local usemsg="$3" # Function logs if [ "${uselog}" == "log" ] || [ "${uselog}" == "yes" ]; then returnlog=${logfile} else returnlog="/dev/null" fi # Function colors if [ "${usecolor}" == "info" ] || [ "${usecolor}" == "warn" ]; then echo -ne "${stand}[ ${yellow}INFO ${stand}]> ${usemsg}\n" >> ${returnlog} elif [ "${usecolor}" == "error" ] || [ "${usecolor}" == "ko" ]; then echo -ne "${stand}[ ${red}ERROR ${stand}]> ${usemsg}\n" >> ${returnlog} elif [ "${usecolor}" == "success" ] || [ "${usecolor}" == "ok" ]; then echo -ne "${stand}[ ${green}SUCCESS ${stand}]> ${usemsg}\n" >> ${returnlog} else echo -ne "${stand}[ ${stand}OUTPUT ${stand}]> ${usemsg}\n" >> ${returnlog} fi } |
Vérifions ensuite si tous les paquets nécessaires sont installés sur notre système. S’il ne le sont pas, le script les installera automatiquement.
1 2 3 4 5 6 7 8 9 10 11 12 13 | # Check if needed packages are installed if [ $(dpkg-query -W -f='${Status}' lftp 2>/dev/null | grep -c "ok installed") -eq 0 ] then apt-get install lftp fi if [ $(dpkg-query -W -f='${Status}' tar 2>/dev/null | grep -c "ok installed") -eq 0 ] then apt-get install tar fi if [ $(dpkg-query -W -f='${Status}' gzip 2>/dev/null | grep -c "ok installed") -eq 0 ] then apt-get install gzip fi |
Créons maintenant le dossier qui contiendra les logs d’exécution. Ici, le script va regarder si le dossier existe déjà. Si il n’est pas encore présent, il le créera.
1 2 3 4 5 | # Log folder creation if [ ! -e "/var/log/backup" ] then mkdir -p "/var/log/backup" else do_showmsg "info" "log" "Folder '/var/log/backup' already exist" fi |
Passons maintenant à la partie sauvegarde des dossiers contenant vos sites. Dans cette partie, nous allons d’abord créer le dossier qui contiendra les sauvegardes fichiers de nos sites webs. Ensuite, nous créons une boucle pour permettre de faire une archive par dossier se trouvant dans /var/www.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | # Starting script echo -ne "Starting backup all websites at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} # Création du dossier s'il n'existe pas if [ ! -e "${dir_backup_web}" ] then mkdir -p "${dir_backup_web}" else do_showmsg "info" "log" "Folder '${dir_backup}' already exist" fi # Sauvegarde des sites dans "/datas/sites/*" cd ${dir_sites} for site_list in `ls`; do tar czf ${dir_backup_web}/backup_${site_list}.tar.gz ${site_list} 2>&1 > /dev/null if [ -e "${dir_backup_web}/backup_${site_list}.tar.gz" ] then echo -ne "[ SUCCESS ]> ${dir_backup_web}/backup_${site_list}.tar.gz\n" >> ${logfile} else echo -ne "[ ERROR ]> ${dir_backup_web}/backup_${site_list}.tar.gz\n" >> ${logfile} fi done # Stopping script echo -ne "Starting backup all websites at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} |
C’est maintenant aux bases de données d’être sauvegardées. Nous partons sur le même principe que pour les dossiers de nos sites.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | # Starting script echo -ne "Starting backup MySQL Databases at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} # Création du répertoire de sauvegarde if [ ! -e "${dir_backup_db}" ] then mkdir -p "${dir_backup_db}" else echo -ne "[ INFO ]> folder '${dir_backup}' already exist\n" >> ${logfile} fi # Sauvegarde des bases de données avec compression GZIP for database_list in `${mysql_bin} -u ${mysql_user} -p${mysql_password} -ss -e "SHOW DATABASES" | egrep -vi "^(information_schema|performance_schema)$"`; do ${mysqldump_bin} -u ${mysql_user} -p${mysql_password} --events --opt -Q -B ${database_list} | ${gzip_bin} -c > ${dir_backup_db}/backup_${database_list}.sql.gz if [ -e "${dir_backup_db}/backup_${idatabase}.sql.gz" ] then echo -ne "[ SUCCESS ]> ${dir_backup_db}/backup_${database_list}.sql.gz\n" >> ${logfile} else echo -ne "[ ERROR ]> ${dir_backup_db}/backup_${database_list}.sql.gz\n" >> ${logfile} fi done # Stopping script echo -ne "Stopping backup MySQL Databases at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} |
La partie sauvegarde étant maintenant terminée, nous allons envoyer nos sauvegardes du jour vers un espace de stockage externe comme un FTP ou un stockage Cloud type Google Drive ou Amazon Drive. La première chose faire avant d’envoyer la sauvegarde est de vérifier elle sauvegarde existe. Ici, nous avons décidé les stocker sur Amazon Drive. A la fin de la copie, nous supprimons le backup du jour.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | # Vérification du dossier de sauvegarde d'aujourd'hui (sinon arrêt du script) if [ ! -e "${dir_backup}/${date_day}" ]; then echo -ne "[ ERROR ]> Le dossier de sauvegarde local '${dir_backup}/${date_day}' n'existe pas.\n" >> ${logfile} exit 1 fi # Upload the backups files on Amazon Drive and return code cd ${dir_backup} ${rclone_bin} copy ${date_day} amzn:Backup/websites/${date_day} if [ "$?" -eq "0" ]; then do_showmsg "success" "log" "Uploading backup on Amazon Drive successfull" ret=$((${ret}+0)) else do_showmsg "error" "log" "Uploading backup on Amazon Drive return an error" ret=$((${ret}+1)) fi rm -rf /backup |
Voilà, le script étant expliqué, nous allons maintenant vous le livrer au complet pour une copie plus facile. Si vous décidez d’utiliser ce script il vous faudra installer Rclone pour connecter votre compte de stockage cloud ou alors modifier les lignes concernant l’envois des backups.
Présentation du script complet
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 | #!/bin/bash # Made by REWOP it (https://techarea.fr) # With this, you can make a backup of your websites (full) # Variables tar_bin="/bin/tar" date_day=`/bin/date +%Y%m%d` dir_backup_web="/backup/${date_day}/sites" dir_sites="/var/www" mysqldump_bin="/usr/bin/mysqldump" mysql_bin="/usr/bin/mysql" dir_backup_db="/backup/${date_day}/databases" gzip_bin="/bin/gzip" rclone_bin="/usr/sbin/rclone" date_old=`date --date='10 days ago' +%Y%m%d` dir_backup="/backup/" mysql_user="user" mysql_password="PWD" logfile="/var/log/backup/backup_${date_day}.log" ret="0" # Define the color for function showmsg() green="\\033[0;32m" stand="\\033[0;39m" red="\\033[0;31m" yellow="\\033[33m" # Function for show the message on screen and log file # Use this function with this example (return success message without log / return error message with log) # do_showmsg "success" "nolog" "Backup is valid" # do_showmsg "error" "log" "Config file is not found" do_showmsg() { # Local variables local usecolor="$1" local uselog="$2" local usemsg="$3" # Function logs if [ "${uselog}" == "log" ] || [ "${uselog}" == "yes" ]; then returnlog=${logfile} else returnlog="/dev/null" fi # Function colors if [ "${usecolor}" == "info" ] || [ "${usecolor}" == "warn" ]; then echo -ne "${stand}[ ${yellow}INFO ${stand}]> ${usemsg}\n" >> ${returnlog} elif [ "${usecolor}" == "error" ] || [ "${usecolor}" == "ko" ]; then echo -ne "${stand}[ ${red}ERROR ${stand}]> ${usemsg}\n" >> ${returnlog} elif [ "${usecolor}" == "success" ] || [ "${usecolor}" == "ok" ]; then echo -ne "${stand}[ ${green}SUCCESS ${stand}]> ${usemsg}\n" >> ${returnlog} else echo -ne "${stand}[ ${stand}OUTPUT ${stand}]> ${usemsg}\n" >> ${returnlog} fi } # Check if needed packages are installed if [ $(dpkg-query -W -f='${Status}' lftp 2>/dev/null | grep -c "ok installed") -eq 0 ] then apt-get install lftp fi if [ $(dpkg-query -W -f='${Status}' tar 2>/dev/null | grep -c "ok installed") -eq 0 ] then apt-get install tar fi if [ $(dpkg-query -W -f='${Status}' gzip 2>/dev/null | grep -c "ok installed") -eq 0 ] then apt-get install gzip fi # Log folder creation if [ ! -e "/var/log/backup" ] then mkdir -p "/var/log/backup" else do_showmsg "info" "log" "Folder '/var/log/backup' already exist" fi # Starting script echo -ne "Starting backup all websites at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} # Création du dossier s'il n'existe pas if [ ! -e "${dir_backup_web}" ] then mkdir -p "${dir_backup_web}" else do_showmsg "info" "log" "Folder '${dir_backup}' already exist" fi # Sauvegarde des sites dans "/datas/sites/*" cd ${dir_sites} for site_list in `ls`; do tar czf ${dir_backup_web}/backup_${site_list}.tar.gz ${site_list} 2>&1 > /dev/null if [ -e "${dir_backup_web}/backup_${site_list}.tar.gz" ] then echo -ne "[ SUCCESS ]> ${dir_backup_web}/backup_${site_list}.tar.gz\n" >> ${logfile} else echo -ne "[ ERROR ]> ${dir_backup_web}/backup_${site_list}.tar.gz\n" >> ${logfile} fi done # Stopping script echo -ne "Starting backup all websites at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} # Starting script echo -ne "Starting backup MySQL Databases at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} # Création du répertoire de sauvegarde if [ ! -e "${dir_backup_db}" ] then mkdir -p "${dir_backup_db}" else echo -ne "[ INFO ]> folder '${dir_backup}' already exist\n" >> ${logfile} fi # Sauvegarde des bases de données avec compression GZIP for database_list in `${mysql_bin} -u ${mysql_user} -p${mysql_password} -ss -e "SHOW DATABASES" | egrep -vi "^(information_schema|performance_schema)$"`; do ${mysqldump_bin} -u ${mysql_user} -p${mysql_password} --events --opt -Q -B ${database_list} | ${gzip_bin} -c > ${dir_backup_db}/backup_${database_list}.sql.gz if [ -e "${dir_backup_db}/backup_${idatabase}.sql.gz" ] then echo -ne "[ SUCCESS ]> ${dir_backup_db}/backup_${database_list}.sql.gz\n" >> ${logfile} else echo -ne "[ ERROR ]> ${dir_backup_db}/backup_${database_list}.sql.gz\n" >> ${logfile} fi done # Stopping script echo -ne "Stopping backup MySQL Databases at `/bin/date +%d/%m/%Y`, `/bin/date +%H:%M:%S`\n" >> ${logfile} ####################### ## PART FTP BACKUP ## ####################### # Vérification du dossier de sauvegarde d'aujourd'hui (sinon arrêt du script) if [ ! -e "${dir_backup}/${date_day}" ]; then echo -ne "[ ERROR ]> Le dossier de sauvegarde local '${dir_backup}/${date_day}' n'existe pas.\n" >> ${logfile} exit 1 fi # Upload the backups files on the Amazon Drive and return code cd ${dir_backup} ${rclone_bin} copy ${date_day} amzn:Backup/websites/${date_day} if [ "$?" -eq "0" ]; then do_showmsg "success" "log" "Uploading backup on Amazon Drive successfull" ret=$((${ret}+0)) else do_showmsg "error" "log" "Uploading backup on Amazon Drive return an error" ret=$((${ret}+1)) fi rm -rf /backup ######################### ## RETURN END SCRIPT ## ######################### # Add message on the log if [ "${ret}" -eq "0" ]; then do_showmsg "success" "log" "Finish execution successful" elif [ "${ret}" -eq "1" ]; then do_showmsg "warn" "log" "Finish execution with ${ret} error" else do_showmsg "error" "log" "Finish execution with ${ret} errors" fi # Exit exit ${ret} |
Conclusion
Vous avez maintenant une façon de sauvegarder tous vos sites facilement avec un simple script. Nous trouvions aussi important de vous présenter la méthode que nous utilisons pour ce site.
Poster un Commentaire
7 Commentaires sur "LSCI #8: Sauvegarder son serveur web avec un script perso"
Merci pour cet exemple. J’ai créé de nombreux scripts dont 1 pour la sauvegarde avec les mêmes outils mais je ne connaissais pas les fonctions et je vais donc reprendre l’idée de ‘do_showmsg’ pour mettre de la couleur dans l’exécution de mes scripts. Par contre les ‘>> ${returnlog}’ dans la fonction ne renvoient forcément jamais rien dans le sdout. Je les ai remplacés par ‘| tee ${returnlog}’.
Ce remplacement est une bonne idée aussi. Je n’y avais pas pensé. Merci !
Salut,
Merci pour ton retour ! Je dois encore le retravailler un peu pour qu’il soit plus léger !
Juste pour tester « disqus » 🙂
Re pour tester 😉
J’ai pas le badge « Team » moi 🙁