Bonjour à tous,

Je suis en train de faire un backup sur un disque grâce à rsync, la première copie s'est bien déroulé, et donc à présent je synchronise les mises à jour entre les différents disques, sachant que c'est un très grand nombre de données aux alentours de 400Go et qui contient un très très grand nombre de fichiers. A chaque fois que je lance rsync pour mettre à jour ce qui a été modifié, au bout d'un certain temps ça s'interrompe, et je n'arrive pas à savoir pourquoi

le fichier /var/log/syslog ou /var/log/message ne me donne pas d'informations, y a t'il un moyen d'activer le log sur rsync.

la commande utilisée c'est rsync -ar /montage1 /montage2

merci pour votre aide

Bonjour,

On 27/03 16:31, Tahar wrote :
> la commande utilisée c'est rsync -ar /montage1 /montage2

L'option -v affiche plus d'infos (et plus il y a de -v, plus il y aura
d'infos affichées). Par contre, l'option -r est inutile quand on a
l'option -a (qui est l'équivalent de -rlptgoD).

> merci pour votre aide
de rien,

Jean-Michel

Bonjour,

On 27/03 16:31, Tahar wrote :
> la commande utilisée c'est rsync -ar /montage1 /montage2

L'option -v affiche plus d'infos (et plus il y a de -v, plus il y aura
d'infos affichées). Par contre, l'option -r est inutile quand on a
l'option -a (qui est l'équivalent de -rlptgoD).

> merci pour votre aide
de rien,

Jean-Michel

Tahar <tahar_ba@yahoo.fr> writes:

> Bonjour à tous,

Bonsoir,

> Je suis en train de faire un backup sur un disque grâce à rsync, la
> première copie s'est bien déroulé, et donc à présent je synchronise
> les mises à jour entre les différents disques, sachant que c'est un
> très grand nombre de données aux alentours de 400Go et qui contient
> un très très grand nombre de fichiers. A chaque fois que je lance
> rsync pour mettre à jour ce qui a été modifié, au bout d'un certain
> temps ça s'interrompe, et je n'arrive pas à savoir pourquoi

Ca ressemble fort à un rsync manquant de mémoire. C'est surtout le
grand nombre de fichiers qui peut causer problème ; il faut compter
environ 100 octets par fichier.

Une solution de contournement serait de découper la grosse
synchronisation en petits morceaux.

--
Nicolas


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Tahar <tahar_ba@yahoo.fr> writes:

> Bonjour à tous,

Bonsoir,

> Je suis en train de faire un backup sur un disque grâce à rsync, la
> première copie s'est bien déroulé, et donc à présent je synchronise
> les mises à jour entre les différents disques, sachant que c'est un
> très grand nombre de données aux alentours de 400Go et qui contient
> un très très grand nombre de fichiers. A chaque fois que je lance
> rsync pour mettre à jour ce qui a été modifié, au bout d'un certain
> temps ça s'interrompe, et je n'arrive pas à savoir pourquoi

Ca ressemble fort à un rsync manquant de mémoire. C'est surtout le
grand nombre de fichiers qui peut causer problème ; il faut compter
environ 100 octets par fichier.

Une solution de contournement serait de découper la grosse
synchronisation en petits morceaux.

--
Nicolas


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Nicolas KOWALSKI a écrit :
> Tahar <tahar_ba@yahoo.fr> writes:
>
>
>> Bonjour à tous,
>>
>
> Bonsoir,
>
>
>> Je suis en train de faire un backup sur un disque grâce à rsync, la
>> première copie s'est bien déroulé, et donc à présent je synchronise
>> les mises à jour entre les différents disques, sachant que c'est un
>> très grand nombre de données aux alentours de 400Go et qui contient
>> un très très grand nombre de fichiers. A chaque fois que je lance
>> rsync pour mettre à jour ce qui a été modifié, au bout d'un certain
>> temps ça s'interrompe, et je n'arrive pas à savoir pourquoi
>>
>
> Ca ressemble fort à un rsync manquant de mémoire. C'est surtout le
> grand nombre de fichiers qui peut causer problème ; il faut compter
> environ 100 octets par fichier.
>
> Une solution de contournement serait de découper la grosse
> synchronisation en petits morceaux.
>
>
Deux choses peuvent être tentées:

- Simplement augmenter la swap, puisque c'est son remplissage qui pose
problème.
- Il arrive aussi que rsync s'arrête si un autre processus swappe
beaucoup en même temps. Dans ce cas, on donne une priorité accrue à
rsync via nice.

JM

--
Jean-Marc Sac-Epée, Ingénieur de Recherches en Calcul Scientifique,
Laboratoire de Mathématiques, UMR 7122, Université de Metz,
Tél 03 87 54 72 69 Fax 03 87 31 52 73
http://www.math.univ-metz.fr/~jmse mail: jmse@math.univ-metz.fr




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Nicolas KOWALSKI a écrit :
> Tahar <tahar_ba@yahoo.fr> writes:
>
>
>> Bonjour à tous,
>>
>
> Bonsoir,
>
>
>> Je suis en train de faire un backup sur un disque grâce à rsync, la
>> première copie s'est bien déroulé, et donc à présent je synchronise
>> les mises à jour entre les différents disques, sachant que c'est un
>> très grand nombre de données aux alentours de 400Go et qui contient
>> un très très grand nombre de fichiers. A chaque fois que je lance
>> rsync pour mettre à jour ce qui a été modifié, au bout d'un certain
>> temps ça s'interrompe, et je n'arrive pas à savoir pourquoi
>>
>
> Ca ressemble fort à un rsync manquant de mémoire. C'est surtout le
> grand nombre de fichiers qui peut causer problème ; il faut compter
> environ 100 octets par fichier.
>
> Une solution de contournement serait de découper la grosse
> synchronisation en petits morceaux.
>
>
Deux choses peuvent être tentées:

- Simplement augmenter la swap, puisque c'est son remplissage qui pose
problème.
- Il arrive aussi que rsync s'arrête si un autre processus swappe
beaucoup en même temps. Dans ce cas, on donne une priorité accrue à
rsync via nice.

JM

--
Jean-Marc Sac-Epée, Ingénieur de Recherches en Calcul Scientifique,
Laboratoire de Mathématiques, UMR 7122, Université de Metz,
Tél 03 87 54 72 69 Fax 03 87 31 52 73
http://www.math.univ-metz.fr/~jmse mail: jmse@math.univ-metz.fr




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Merci beaucouppour vos réponses,

ça a en effet l'air d'être un problème de mémoire, donc j'ai crée un script afin de découper la synchro en morceau et de traiter chaque répértoire et son arborescence tout seul et donc un fichier d'index par sous racine.

ceci m'amène à une autre question, j'ai plus ou moins terminé mon script, mais je voudrais savoir s'il y a une possibilité de traiter des variables en tant que nombre hexadecimal,

mes répértoires sont numéroté en hexa, donc il vont de 00 jsuqu'à 13 en passant par 0A, 0B jusqu'à 0F, pour l'instant j'ai divisé mon script sur deux une boucle qui s'occupe de tout ce qui est répértoire de 00 jusqu'à 13 avec deux variables l'une allant de 0 à 9 et l'autre de 0 à 1 et pour les 0A jusqu'à 0F je les ai fait manuellement avec une instruction par ligne,

y a t'il un moyen de tout intégrer dans une seule boucle ?

merci encore pour votre aide

Sac-Epee Jean-Marc <jmse@univ-metz.fr> a écrit : Nicolas KOWALSKI a écrit :
> Tahar writes:
>
>
>> Bonjour à tous,
>>
>
> Bonsoir,
>
>
>> Je suis en train de faire un backup sur un disque grâce à rsync, la
>> première copie s'est bien déroulé, et donc à présent je synchronise
>> les mises à jour entre les différents disques, sachant que c'est un
>> très grand nombre de données aux alentours de 400Go et qui contient
>> un très très grand nombre de fichiers. A chaque fois que je lance
>> rsync pour mettre à jour ce qui a été modifié, au bout d'un certain
>> temps ça s'interrompe, et je n'arrive pas à savoir pourquoi
>>
>
> Ca ressemble fort à un rsync manquant de mémoire. C'est surtout le
> grand nombre de fichiers qui peut causer problème ; il faut compter
> environ 100 octets par fichier.
>
> Une solution de contournement serait de découper la grosse
> synchronisation en petits morceaux.
>
>
Deux choses peuvent être tentées:

- Simplement augmenter la swap, puisque c'est son remplissage qui pose
problème.
- Il arrive aussi que rsync s'arrête si un autre processus swappe
beaucoup en même temps. Dans ce cas, on donne une priorité accrue à
rsync via nice.

JM

--
Jean-Marc Sac-Epée, Ingénieur de Recherches en Calcul Scientifique,
Laboratoire de Mathématiques, UMR 7122, Université de Metz,
Tél 03 87 54 72 69 Fax 03 87 31 52 73
http://www.math.univ-metz.fr/~jmse mail: jmse@math.univ-metz.fr




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Merci beaucouppour vos réponses,

ça a en effet l'air d'être un problème de mémoire, donc j'ai crée un script afin de découper la synchro en morceau et de traiter chaque répértoire et son arborescence tout seul et donc un fichier d'index par sous racine.

ceci m'amène à une autre question, j'ai plus ou moins terminé mon script, mais je voudrais savoir s'il y a une possibilité de traiter des variables en tant que nombre hexadecimal,

mes répértoires sont numéroté en hexa, donc il vont de 00 jsuqu'à 13 en passant par 0A, 0B jusqu'à 0F, pour l'instant j'ai divisé mon script sur deux une boucle qui s'occupe de tout ce qui est répértoire de 00 jusqu'à 13 avec deux variables l'une allant de 0 à 9 et l'autre de 0 à 1 et pour les 0A jusqu'à 0F je les ai fait manuellement avec une instruction par ligne,

y a t'il un moyen de tout intégrer dans une seule boucle ?

merci encore pour votre aide

Sac-Epee Jean-Marc <jmse@univ-metz.fr> a écrit : Nicolas KOWALSKI a écrit :
> Tahar writes:
>
>
>> Bonjour à tous,
>>
>
> Bonsoir,
>
>
>> Je suis en train de faire un backup sur un disque grâce à rsync, la
>> première copie s'est bien déroulé, et donc à présent je synchronise
>> les mises à jour entre les différents disques, sachant que c'est un
>> très grand nombre de données aux alentours de 400Go et qui contient
>> un très très grand nombre de fichiers. A chaque fois que je lance
>> rsync pour mettre à jour ce qui a été modifié, au bout d'un certain
>> temps ça s'interrompe, et je n'arrive pas à savoir pourquoi
>>
>
> Ca ressemble fort à un rsync manquant de mémoire. C'est surtout le
> grand nombre de fichiers qui peut causer problème ; il faut compter
> environ 100 octets par fichier.
>
> Une solution de contournement serait de découper la grosse
> synchronisation en petits morceaux.
>
>
Deux choses peuvent être tentées:

- Simplement augmenter la swap, puisque c'est son remplissage qui pose
problème.
- Il arrive aussi que rsync s'arrête si un autre processus swappe
beaucoup en même temps. Dans ce cas, on donne une priorité accrue à
rsync via nice.

JM

--
Jean-Marc Sac-Epée, Ingénieur de Recherches en Calcul Scientifique,
Laboratoire de Mathématiques, UMR 7122, Université de Metz,
Tél 03 87 54 72 69 Fax 03 87 31 52 73
http://www.math.univ-metz.fr/~jmse mail: jmse@math.univ-metz.fr




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Tahar a écrit :
> Merci beaucouppour vos réponses,
>
> ça a en effet l'air d'être un problème de mémoire, donc j'ai crée un
> script afin de découper la synchro en morceau et de traiter chaque
> répértoire et son arborescence tout seul et donc un fichier d'index par
> sous racine.
>
> ceci m'amène à une autre question, j'ai plus ou moins terminé mon
> script, mais je voudrais savoir s'il y a une possibilité de traiter des
> variables en tant que nombre hexadecimal,
>
> mes répértoires sont numéroté en hexa, donc il vont de 00 jsuqu'à 13 en
> passant par 0A, 0B jusqu'à 0F, pour l'instant j'ai divisé mon script sur
> deux une boucle qui s'occupe de tout ce qui est répértoire de 00 jusqu'à
> 13 avec deux variables l'une allant de 0 à 9 et l'autre de 0 à 1 et pour
> les 0A jusqu'à 0F je les ai fait manuellement avec une instruction par
> ligne,
>
> y a t'il un moyen de tout intégrer dans une seule boucle ?

Compter en hexa je ne sais pas trop, en revanche, on peut utiliser un
compteur qui va aller de 0 à 19 (0x13), puis le convertir en hexa dès
qu'on en a besoin via la commande printf :
#~ printf "%02x" $compteur

Il faudra sûrement l'adapter car les digits A à F sont affichés en
minuscules.

> merci encore pour votre aide

Pas de quoi.

Seb


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Tahar a écrit :
> Merci beaucouppour vos réponses,
>
> ça a en effet l'air d'être un problème de mémoire, donc j'ai crée un
> script afin de découper la synchro en morceau et de traiter chaque
> répértoire et son arborescence tout seul et donc un fichier d'index par
> sous racine.
>
> ceci m'amène à une autre question, j'ai plus ou moins terminé mon
> script, mais je voudrais savoir s'il y a une possibilité de traiter des
> variables en tant que nombre hexadecimal,
>
> mes répértoires sont numéroté en hexa, donc il vont de 00 jsuqu'à 13 en
> passant par 0A, 0B jusqu'à 0F, pour l'instant j'ai divisé mon script sur
> deux une boucle qui s'occupe de tout ce qui est répértoire de 00 jusqu'à
> 13 avec deux variables l'une allant de 0 à 9 et l'autre de 0 à 1 et pour
> les 0A jusqu'à 0F je les ai fait manuellement avec une instruction par
> ligne,
>
> y a t'il un moyen de tout intégrer dans une seule boucle ?

Compter en hexa je ne sais pas trop, en revanche, on peut utiliser un
compteur qui va aller de 0 à 19 (0x13), puis le convertir en hexa dès
qu'on en a besoin via la commande printf :
#~ printf "%02x" $compteur

Il faudra sûrement l'adapter car les digits A à F sont affichés en
minuscules.

> merci encore pour votre aide

Pas de quoi.

Seb


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Tahar a écrit :
> Merci beaucouppour vos réponses,
>
> ça a en effet l'air d'être un problème de mémoire, donc j'ai crée un
> script afin de découper la synchro en morceau et de traiter chaque
> répértoire et son arborescence tout seul et donc un fichier d'index par
> sous racine.
>
> ceci m'amène à une autre question, j'ai plus ou moins terminé mon
> script, mais je voudrais savoir s'il y a une possibilité de traiter des
> variables en tant que nombre hexadecimal,
>
> mes répértoires sont numéroté en hexa, donc il vont de 00 jsuqu'à 13 en
> passant par 0A, 0B jusqu'à 0F, pour l'instant j'ai divisé mon script sur
> deux une boucle qui s'occupe de tout ce qui est répértoire de 00 jusqu'à
> 13 avec deux variables l'une allant de 0 à 9 et l'autre de 0 à 1 et pour
> les 0A jusqu'à 0F je les ai fait manuellement avec une instruction par
> ligne,
>
> y a t'il un moyen de tout intégrer dans une seule boucle ?

Compter en hexa je ne sais pas trop, en revanche, on peut utiliser un
compteur qui va aller de 0 à 19 (0x13), puis le convertir en hexa dès
qu'on en a besoin via la commande printf :
#~ printf "%02x" $compteur

Il faudra sûrement l'adapter car les digits A à F sont affichés en
minuscules.

> merci encore pour votre aide

Pas de quoi.

Seb


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

Tahar a écrit :
> Merci beaucouppour vos réponses,
>
> ça a en effet l'air d'être un problème de mémoire, donc j'ai crée un
> script afin de découper la synchro en morceau et de traiter chaque
> répértoire et son arborescence tout seul et donc un fichier d'index par
> sous racine.
>
> ceci m'amène à une autre question, j'ai plus ou moins terminé mon
> script, mais je voudrais savoir s'il y a une possibilité de traiter des
> variables en tant que nombre hexadecimal,
>
> mes répértoires sont numéroté en hexa, donc il vont de 00 jsuqu'à 13 en
> passant par 0A, 0B jusqu'à 0F, pour l'instant j'ai divisé mon script sur
> deux une boucle qui s'occupe de tout ce qui est répértoire de 00 jusqu'à
> 13 avec deux variables l'une allant de 0 à 9 et l'autre de 0 à 1 et pour
> les 0A jusqu'à 0F je les ai fait manuellement avec une instruction par
> ligne,
>
> y a t'il un moyen de tout intégrer dans une seule boucle ?

Compter en hexa je ne sais pas trop, en revanche, on peut utiliser un
compteur qui va aller de 0 à 19 (0x13), puis le convertir en hexa dès
qu'on en a besoin via la commande printf :
#~ printf "%02x" $compteur

Il faudra sûrement l'adapter car les digits A à F sont affichés en
minuscules.

> merci encore pour votre aide

Pas de quoi.

Seb


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org