データは新たな石油と呼ばれますが、その移動には多くの手間がかかります。現代のデータサイエンスや機械学習のプロジェクトでは、一般的な共同作業ツールでは扱いきれない巨大なバイナリファイルが使われます。
GitHubのファイルサイズの上限は100MBです。メールではとても対応できません。外部の共同研究者向けに共有S3バケットを設定するには、IT部門と何度もメールをやり取りする必要があります。
データ共有の課題:「モデルが大きすぎる」
- リポジトリの肥大化: 2GBの
.csvや500MBの.h5モデルファイルをGitにコミットするのは望ましくありません。全員のクローン作成が遅くなります。 - 学習データ: コンピュータービジョンのプロジェクトで50,000枚の画像を含むフォルダーを共有するには、広い帯域幅と安定した接続が必要です。
- 再現性: 結果を再現するには、ダウンサンプリングしたものではなく、使用したものとまったく同じデータセットを同僚に渡す必要があります。
データ運用のファイル共有にSendGB
SendGB は、容量の大きなデータ成果物をスムーズに転送するためのパイプラインです。モデルやデータセットを、ローカルマシンからクラウドや同僚へすぐに転送できます。
AI・データの専門家がSendGBを選ぶ理由
1. GitHubの上限を回避
コードはGitに、容量の大きなファイルはSendGBに保存します。README.mdにSendGBのダウンロードリンクを記載するか、Slackで共有するだけです。リポジトリをすっきりと保ち、軽快に利用できます。
2. 大規模な学習データセットを転送
20GBのSQLダンプでも、100k個のJSONファイルを含むフォルダーでも、ディレクトリごとドラッグ&ドロップできます。必要に応じてZIP形式に圧縮し、最高速度でストリーミング転送します。
3. モデルを安全に共有
何週間もかけて学習させた独自のモデルを、安全でない経路で送信するのは避けたいものです。
- パスワード保護: ダウンロードリンクをロックします。
- 一時的な共有: リンクの有効期限を1日に設定します。受信者がファイルを受け取ると、クラウドから削除されます。
4. 異なるプラットフォーム間でも利用可能
LinuxサーバーからWindowsを使うアナリストへデータを送信しますか?SendGB はどのブラウザーでも動作します。CLIツールやOS固有の依存ソフトウェアは不要です。
データに関わるあらゆる職種に
- コンピュータービジョン: アノテーション用の未加工画像や動画を含む大容量フォルダーを共有できます。
- NLP: 大規模なテキストコーパスや単語埋め込みベクトルを転送できます。
- バイオインフォマティクス: 大容量のゲノムシーケンシングデータ(.FASTQ、.BAM)を安全に転送できます。
- アナリスト: 統合したPowerBIやTableauのデータソースを関係者に送信できます。
あらゆるデータ形式に対応
- モデル: .h5, .pt, .onnx, .pkl, .model
- データ: .csv, .json, .parquet, .avro, .sql
- アーカイブ: .tar.gz, .zip, .7z
- ノートブック: .ipynb(大容量の出力を含むもの)
ファイル転送ではなく、アルゴリズムに集中できます。
