SendGB
データサイエンティスト・AIエンジニア向け大容量ファイル送信サービス
ソリューションを見る

データサイエンティスト・AIエンジニア向け大容量ファイル送信サービス

大規模なデータセット、学習済みモデル、ニューラルネットワークを安全に共有できます。

データは新たな石油と呼ばれますが、その移動には多くの手間がかかります。現代のデータサイエンスや機械学習のプロジェクトでは、一般的な共同作業ツールでは扱いきれない巨大なバイナリファイルが使われます。

GitHubのファイルサイズの上限は100MBです。メールではとても対応できません。外部の共同研究者向けに共有S3バケットを設定するには、IT部門と何度もメールをやり取りする必要があります。

データ共有の課題:「モデルが大きすぎる」

  • リポジトリの肥大化: 2GBの.csvや500MBの.h5モデルファイルをGitにコミットするのは望ましくありません。全員のクローン作成が遅くなります。
  • 学習データ: コンピュータービジョンのプロジェクトで50,000枚の画像を含むフォルダーを共有するには、広い帯域幅と安定した接続が必要です。
  • 再現性: 結果を再現するには、ダウンサンプリングしたものではなく、使用したものとまったく同じデータセットを同僚に渡す必要があります。

データ運用のファイル共有にSendGB

SendGB は、容量の大きなデータ成果物をスムーズに転送するためのパイプラインです。モデルやデータセットを、ローカルマシンからクラウドや同僚へすぐに転送できます。

AI・データの専門家がSendGBを選ぶ理由

1. GitHubの上限を回避

コードはGitに、容量の大きなファイルはSendGBに保存します。README.mdにSendGBのダウンロードリンクを記載するか、Slackで共有するだけです。リポジトリをすっきりと保ち、軽快に利用できます。

2. 大規模な学習データセットを転送

20GBのSQLダンプでも、100k個のJSONファイルを含むフォルダーでも、ディレクトリごとドラッグ&ドロップできます。必要に応じてZIP形式に圧縮し、最高速度でストリーミング転送します。

3. モデルを安全に共有

何週間もかけて学習させた独自のモデルを、安全でない経路で送信するのは避けたいものです。

  • パスワード保護: ダウンロードリンクをロックします。
  • 一時的な共有: リンクの有効期限を1日に設定します。受信者がファイルを受け取ると、クラウドから削除されます。

4. 異なるプラットフォーム間でも利用可能

LinuxサーバーからWindowsを使うアナリストへデータを送信しますか?SendGB はどのブラウザーでも動作します。CLIツールやOS固有の依存ソフトウェアは不要です。

データに関わるあらゆる職種に

  • コンピュータービジョン: アノテーション用の未加工画像や動画を含む大容量フォルダーを共有できます。
  • NLP: 大規模なテキストコーパスや単語埋め込みベクトルを転送できます。
  • バイオインフォマティクス: 大容量のゲノムシーケンシングデータ(.FASTQ、.BAM)を安全に転送できます。
  • アナリスト: 統合したPowerBIやTableauのデータソースを関係者に送信できます。

あらゆるデータ形式に対応

  • モデル: .h5, .pt, .onnx, .pkl, .model
  • データ: .csv, .json, .parquet, .avro, .sql
  • アーカイブ: .tar.gz, .zip, .7z
  • ノートブック: .ipynb(大容量の出力を含むもの)

ファイル転送ではなく、アルゴリズムに集中できます。

よくあるご質問