Rsync 정리

By | 2012/10/09

회사에서 Rsync를 적극적으로 사용하고 있기에 정리해봤습니다.
조만간 Rsync란 녀석으로 만들어야 되는것도 있고요.
잘 알아두면 프로그래머 인생에 도움이 많이 될 것 같아요.

옵션이나 사용법은 우선 제가 필요로 한 만큼 정리했습니다.

필요에 따라서 문서가 업데이트 될 수도 있습니다.

Rsync란?

2개의 디렉토리를 동기화 시키는 명령어입니다.
하나의 머신의 다른 디렉토리뿐만아니라, 원격에 있는 머신에 있는 디렉토리와도 동기화를 할수 있습니다.
보통사용하는 cp, ftp, rcp이런 카피계열 명령어보다는 동기화 기능이 월등히 좋습니다.
변경됐거나 추가된 파일만 카피한다던지, 소스디렉토리에서 파일을 삭제하면
원격에 있는 머신쪽도 파일을 삭제하는 기능도 있습니다.

Rsync는 동기화할 대상을 가려내는 작업에 “quick check”알고리즘을 사용하고있습니다. quick check알고리즘은 파일사이즈, 최근 변경시간으로 파일들을 찾습니다.

Rsync의 몇가지 추가기능은 아래와 같습니다.

  • 심볼릭링크, 디바이스, 소유자, 그룹 그리고 퍼미션의 복사를 지원
  • GNU tar와 비슷한 exclude와 exclude-from 옵션을 제공
  • CVS exclude모드 – CVS에서 무시하는 파일들을 무시함.
  • 어떠한 리모트 전송쉘이라도 사용가능, rsh, ssh포함
  • 루트권한이 없어도 됨.
  • 파일전송에 파이프라인을 사용하여 레이턴시 비용을 최소화.
  • 익명사용자 혹은 rsync서버인증 지원 (미러링에 최적임)

위와같은 기능을 가지고 있기에, 디렉토리의 백업이나 서버간 파일을 최신파일로 동기화 할때 사용하면 편리합니다.

구문

rsync [-v] [-q] [-a] [-r] [-b] [-u] [-l] [-p] [-o] [-g] [-D] [-t] [-n] [-e=Command] [–del|–delete] [-z] [–exclude] [–stats] [–progress] Source [[USER@]HOST:]DIST 

rsync –version

rsync -h | –help

옵션

-v | –verbose 동기화시 상세정보를 표시함. 해당 옵션은 3개까지 설정가능. 2,3개동시에 설정하면, 더욱 상세한 정보를 표시함
-q | –quiet 동기화 정보를 표시하지 않음. cron등에 의한 배치처리등에서 사용함.
-c | –checksum 전송전에 128비트 MD4의 체크섬을 사용하여, 송신서버의 모든 파일의 체크섬을 만든다. 그 체크섬은 수신서버에서 확인함. 그리고 송신서버와 같은 체크섬, 같은 사이즈, 같은 이름인 파일은 스킵. 해당 옵션을 사용하면 매우 느려짐.
-a | –archive 아카이브 모드로 실행함. [-rlptgoD]옵션을 지정하면 같은 동작을 하나, 해당 옵션 하나로 대부분의 디렉토리, 파일의 정보를 유지하며 동기화가 가능하므로 편리함.
-r | –recursive 재귀적으로 디렉토리를 카피함. 해당 옵션을 지정하지 않으면, rsync명령어로는 디렉토리를 동기화 하지 않음.
-b | –backup 동기화할 디렉토리에 이미 파일이 존재하는 경우, 동기화할 디렉토리에 백업. 이 경우 디폴트로 [~]이 붙는다.
-u | –update 동기화할 디렉토리에 원본소스보다 최신인 파일이 있을경우, 해당 파일은 동기화하지 않음.
–inplace 데이터를 업데이트 해야하는경우, rsync가 파일을 전송하는 방법을 변경한다. 디폴트로는 새로운 복사본을 만들어서 전송하는데, 해당 옵션을 설정하면 동기화 대상 파일에 rsync가 직접 업데이트된 데이터를 쓴다.
이 명령어는 몇가지 영향 끼치는 것이 있다.
1) 바이너리 파일에 사용하면 업데이트 되지 않음.
2) 파일 전송중에는 해당파일은 불일치 상태가 됨.
3) 파일 전송중 실패 혹은 중단이 되면, 해당 파일은 불일치 상태로 남겨짐.
4) 해당파일에 쓰기권한이 없으면 업데이트되지 않음. 그리고
5) rsync의 델타-전송 알고리즘의 효능이 떨어짐.
주의! : 다른 곳에서 해당파일에 접근한다면 사용하지말라, 그리고 복사용으로 사용할경우는 충분히 주의를 기울여서 사용하라.
해당옵션은 큰파일의 블록단위 변화나 데이터의 추가, 그리고 시스템 디스크의 용량이 제한된 상황에서는 유용하다. (네트워크 트래픽 제한은 관계없다.)

또한 해당 옵션은 –partial을 적용시킨다. (전송중 실패한경우 파일을 삭제하지 않기위해서), 그러나 –partial-dir 과 –delay-updates와 같이 사용하면 충돌(conflict)이 일어날 것이다.
rsync 2.6.4에서 –inplace는 –compare-dest, –link-dest와 같이 사용하는건 적절하지 않다.

-l | –links 동기화할 서버에 심볼릭 링크를 작성함. 해당옵션을 지정하지 않을경우에는 심볼릭 링크 파일은 동기화하지 않음
-p | –perms 퍼미션 정보를 유지하면서 동기화를 함.
-o | –owner 소유자 정보를 유지하면서 동기화를 함. root권한을 가진 유저만 실행가능.
-g |–group 그룹 정보를 유지하면서 동기화를함.
-D | –devices 동기화할 디바이스를 재작성함. root권한을 가진 유저만이 실행가능.
-t | –times 파일의 타임 스탬프를 유지하면서 파일을 동기화함. 해당옵션을 지정하지 않는경우는, 모든 파일에 대해 비교 작업을 실행함.
-n | –dry-run 실제로 동기화를 실행하지는 않고, 동기화 하게될 때의 동작을 표시해줌
-e | –rsh=커맨드 rsync커맨드로 사용할 리모트 쉘 프로그램(ssh같은거)를 지정함. 디폴트로는 rsh를 사용
–del|–delete 동기화 소스에 없는 파일이 동기화할 곳에 있는 경우, 그 파일을 삭제함.
–partial 부분적으로 전송된 파일을 유지시킴
–partial-dir=DIR 부분적으로 전송된 파일을 지정한 DIR에 둠.
–delay-updates 업데이트할 파일들을 가장마지막에 둠.
-z | –compress 동기파일을 압축함.
–exclude=패턴 지정한 패턴에 일치하는 파일을 동기대상에서 제외시킴.
–exclude-from=FILE 파일에 기술된 패턴과 일치하는 파일을 제외.
–deamon rsync를 데몬 모드로 실행함.
–config=FILE 별도의 rsyncd.conf파일을 지정
–stats rsync알고리즘의 송신효율을 표시함.
-h | –human-readable 결과의 수치들을 사람이 읽기편한 포맷으로 출력
–progress 전송의 진행 상황을 표시
-P –partial –progress 와 동일
-i | –itemize-changes 모든 업데이트에 대한 요약을 출력
–log-file=FILE 무슨 작업을 했는지에 대한 상세로그를 파일로 남김
동기화 소스 디렉토리 동기화 소스 디렉토리를 지정함.
[[유저명@]호스트명:]동기화할디렉토리 동기화할 서버와 디렉토리를 지정함. 리모트 호스트를 (동기화)타겟으로 할 경우는, 반드시 호스트와 유저명을 같이 지정해야한다.
–version 커맨드의 버전을 표시함.
–help 커맨드의 도움말을 표시함.

사용법

rsync [OPTION]... SRC [SRC]... DEST
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
rsync [OPTION]... [USER@]HOST:SRC [DEST]
rsync [OPTION]... [USER@]HOST::SRC [DEST]
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

리모트쉘을 사용하는 경우는 ‘:’을 사용하고, rsync 데몬에 접속하는 경우는 ‘::’이나 ‘rsync://’을 사용한다.
SRC또는 DEST는 모듈명으로 시작해야한다.

동일 호스트내에서 백업하기

rsync -a SRC DIST
rsync -av /home/user/html/ /home/user/backup/

리모트 호스트에 백업하기

rsync -a SRC 유저명@호스트명:DIST디렉토리
rsync -av -e ssh /home/user/html/ www@remotehost.com:/home/user/backup/
rsync -av -e ssh /home/user/html/ www@remotehost.com:/home/user/backup/

참고 URL
http://ftp.wayne.edu/rsync/rsync.html
http://itpro.nikkeibp.co.jp/article/COLUMN/20070822/280151/
http://www.infoscience.co.jp/technical/rsync/rsync.html

참고
rsync -help

Rsync를 처음 만든사람의 논문
http://www.samba.org/~tridge/phd_thesis.pdf