USBメモリかHDDか、SDなどのメモリーカードでしょうね。
それぞれの特徴を挙げれば、
USBメモリ
○ほとんどのPCで使える
○扱いが手軽・堅牢なものが多い
○Vistaなどでは高速モデルならReadyBoostとしてシステム速度の向上に使える
○高速でなければ4GB程度ならかなり安く入手可能
△モデルによってはアクセス速度が遅い
HDD
○GB単価が安い(特にポータブルでないもの)
○大容量(数百GB~2TB)でアクセスが速い
○USB接続なら手軽、eSATAなどで高速化も可能
○持ち運びが便利(ポータブルモデル)
△モデルによっては扱いに注意が必要
メモリーカード
○とにかくコンパクト
○デジカメなどに転用が可能
△アクセスが遅い、高速モデルはかなり高価かつ機器も対応が必要(SDHCなど)
×対応のカードリーダーなどが必要
動画など、サイズの大きいファイルを保存するならHDDですね。
書類などが中心なら、コスト的にもUSBメモリに軍配が上がります。
それぞれの長所・短所を考慮して選んで下さい。