SendGB
Lielu failu sūtīšana datu zinātniekiem un MI inženieriem
Apskatīt risinājumu

Lielu failu sūtīšana datu zinātniekiem un MI inženieriem

Droši kopīgojiet apjomīgas datu kopas, apmācītus modeļus un neironu tīklus.

Dati ir jaunā nafta, taču to pārvietošana var kļūt par loģistikas murgu. Mūsdienu datu zinātnes un mašīnmācīšanās projektos jāstrādā ar milzīgiem binārajiem failiem, ar kuriem standarta sadarbības rīki netiek galā.

GitHub failu izmēra ierobežojums ir 100MB. E-pasts nav risinājums. Lai ārējam sadarbības partnerim izveidotu koplietojamu S3 konteineru, ar IT nodaļu jāapmainās ar pārāk daudziem e-pastiem.

Datu problēma: „Modelis ir pārāk liels“

  • Repozitorija uzblīšana: Pievienot Git repozitorijam 2GB .csv failu vai 500MB .h5 modeļa failu ir slikta prakse, kas visiem palēnina klonēšanu.
  • Apmācības dati: Lai kopīgotu mapi ar 50 000 attēlu datorredzes projektam, vajadzīgs liels joslas platums un stabils savienojums.
  • Atkārtojamība: Lai atkārtotu rezultātu, kolēģim vajadzīga tieši tā pati datu kopa, kuru izmantojāt jūs, nevis versija ar samazinātu datu apjomu.

Risinājums: SendGB datu apritei

SendGB nodrošina netraucētu apjomīgu datu artefaktu pārsūtīšanu. Uzreiz pārvietojiet modeļus un datu kopas no sava datora uz mākoni vai nosūtiet tos kolēģim.

Kāpēc MI un datu speciālisti izmanto SendGB?

1. Apejiet GitHub ierobežojumus

Glabājiet kodu Git repozitorijā, bet apjomīgos failus — SendGB pakalpojumā. Vienkārši iekļaujiet SendGB lejupielādes saiti savā README.md failā vai kopīgojiet to Slack lietotnē. Tā repozitorijs paliek pārskatāms un darbojas ātri.

2. Pārsūtiet milzīgas apmācības datu kopas

Neatkarīgi no tā, vai tas ir 20GB SQL datu eksports vai mape ar 100k JSON failiem, ievelciet visu mapi. Mēs to pēc izvēles saspiežam ZIP arhīvā un pārsūtām straumē maksimālā ātrumā.

3. Droši kopīgojiet modeļus

Jūs esat pavadījuši nedēļas, apmācot savu īpašumā esošu modeli. Nesūtiet to pa nedrošu kanālu.

  • Aizsardzība ar paroli: Aizsargājiet lejupielādes saiti.
  • Īslaicīga pieejamība: Iestatiet saites derīguma termiņu uz 1 dienu. Kad saņēmējs modeli ir saņēmis, tas tiek dzēsts no mākoņa.

4. Saderība ar dažādām platformām

Sūtāt datus no Linux servera analītiķim, kurš strādā ar Windows? SendGB darbojas jebkurā pārlūkprogrammā. Nav vajadzīgi komandrindas rīki vai konkrētai operētājsistēmai paredzētas atkarības.

Noderīgs ikvienam datu speciālistam

  • Datorredze: Kopīgojiet apjomīgas mapes ar neapstrādātiem attēliem vai video anotēšanai.
  • Dabiskās valodas apstrāde: Pārsūtiet milzīgus tekstu korpusus un vārdu iegultņu vektorus.
  • Bioinformātika: Droši pārvietojiet apjomīgus genoma sekvenēšanas datus (.FASTQ, .BAM).
  • Analītiķi: Sūtiet apvienotus PowerBI vai Tableau datu avotus ieinteresētajām pusēm.

Atbalsta visus datu formātus

  • Modeļi: .h5, .pt, .onnx, .pkl, .model
  • Dati: .csv, .json, .parquet, .avro, .sql
  • Arhīvi: .tar.gz, .zip, .7z
  • Piezīmju grāmatas: .ipynb (ar apjomīgiem izvades datiem)

Koncentrējieties uz algoritmu, nevis failu pārsūtīšanu.

Biežāk uzdotie jautājumi