データ取り込み負荷を調整する

日付 2016.02.03
タイトル データ取り込み負荷を調整する
本文
現在稼動中のサーバでDBなどのデータ取り込みを行う際に、あまり負荷を上げたくない場合、データの読み出し速度を絞ることで負荷をあまり上げないように調整するワンライナ例です。


# データベースダンプ mydb.140215.dmp を100行読んで1秒休みの速度でpostgresqlのDB test_mydb へ取り込み、結果をメールアドレス mymail@xxx.xx へ通知します。
( cat mydb.140215.dmp | \
    perl -e '$i = 0; while () { if ($i++ > 100) { sleep 1; $i = 0; } print; }' | \
    psql -U postgres test_mydb 2>&1 | \
    mail -s 'import to test_mydb' mymail@xxx.xx ) &