SendGB
Pošiljanje velikih datotek za podatkovne znanstvenike in inženirje umetne inteligence
Razišči rešitev

Pošiljanje velikih datotek za podatkovne znanstvenike in inženirje umetne inteligence

Varno delite obsežne podatkovne zbirke, naučene modele in nevronske mreže.

Podatki so nova nafta, a njihovo premikanje je lahko prava logistična nočna mora. Sodobni projekti podatkovne znanosti in strojnega učenja vključujejo ogromne binarne datoteke, ki presegajo zmogljivosti običajnih orodij za sodelovanje.

GitHub omejuje velikost datotek na 100 MB. E-pošta ne pride v poštev. Za vzpostavitev skupne shrambe S3 za zunanjega sodelavca je potrebnih preveč e-poštnih sporočil oddelku IT.

Težava s podatki: „Model je prevelik“

  • Prenapihnjen repozitorij: Zapisovanje datoteke .csv velikosti 2 GB ali modela .h5 velikosti 500 MB v Git je slaba praksa, ki vsem upočasni kloniranje repozitorija.
  • Učni podatki: Deljenje mape s 50 000 slikami za projekt računalniškega vida zahteva veliko pasovno širino in stabilno povezavo.
  • Ponovljivost: Za ponovitev rezultata vaš sodelavec potrebuje točno tisto podatkovno zbirko, ki ste jo uporabili, ne različice z zmanjšanim vzorcem.

Rešitev: SendGB za delo s podatki

SendGB omogoča nemoteno pošiljanje vaših obsežnih podatkovnih datotek. Modele in podatkovne zbirke takoj pošljite iz lokalnega računalnika v oblak ali sodelavcu.

Zakaj strokovnjaki za umetno inteligenco in podatke uporabljajo SendGB?

1. Izognite se omejitvam storitve GitHub

Kodo hranite v sistemu Git, obsežne datoteke pa v storitvi SendGB. Povezavo za prenos iz storitve SendGB preprosto vključite v datoteko README.md ali jo delite prek Slack. Tako vaš repozitorij ostane urejen in hiter.

2. Pošljite obsežne učne zbirke

Ne glede na to, ali pošiljate izvoz SQL velikosti 20 GB ali mapo s 100k datotekami JSON, preprosto povlecite in spustite celotno mapo. Po želji jo stisnemo v arhiv ZIP in pretočno pošljemo z največjo hitrostjo.

3. Varno delite modele

Za učenje lastniškega modela ste porabili več tednov. Ne pošiljajte ga po nevarni poti.

  • Zaščita z geslom: Zaklenite povezavo za prenos.
  • Kratkotrajna dostopnost: Nastavite, da povezava poteče po 1 dnevu. Ko prejemnik prejme model, ga v oblaku ni več.

4. Združljivost med platformami

Pošiljate podatke s strežnika Linux analitiku, ki uporablja Windows? SendGB deluje v katerem koli brskalniku. Orodja ukazne vrstice ali programske odvisnosti, vezane na operacijski sistem, niso potrebni.

Nepogrešljivo za vse, ki delate s podatki

  • Računalniški vid: Delite obsežne mape neobdelanih slik ali videoposnetkov za označevanje.
  • Obdelava naravnega jezika: Pošljite obsežne besedilne korpuse in vektorje besednih vložitev.
  • Bioinformatika: Varno pošiljajte obsežne podatke genomskega sekvenciranja (.FASTQ, .BAM).
  • Analitiki: Deležnikom pošljite združene podatkovne vire za PowerBI ali Tableau.

Podpora za vse podatkovne formate

  • Modeli: .h5, .pt, .onnx, .pkl, .model
  • Podatki: .csv, .json, .parquet, .avro, .sql
  • Arhivi: .tar.gz, .zip, .7z
  • Zvezki: .ipynb (z obsežnimi izhodnimi podatki)

Osredotočite se na algoritem, ne na pošiljanje datotek.

Pogosta vprašanja