Duomenys – naujoji nafta, tačiau juos gabenti iš vienos vietos į kitą gali būti tikras logistinis košmaras. Šiuolaikiniuose duomenų mokslo ir mašininio mokymosi projektuose naudojami didžiuliai dvejetainiai failai, su kuriais įprasti bendradarbiavimo įrankiai nesusitvarko.
GitHub leidžia įkelti ne didesnius kaip 100 MB failus. El. paštas čia visai netinka. Norint sukurti bendrą S3 konteinerį išoriniam bendradarbiui, tenka pernelyg ilgai susirašinėti su IT skyriumi.
Duomenų problema: „Modelis per didelis“
- Išsipūtusi saugykla: Įtraukti 2 GB
.csvfailą arba 500 MB.h5modelio failą į Git saugyklą – prasta praktika, dėl kurios saugyklos klonavimas sulėtėja visiems. - Mokymo duomenys: Norint pasidalyti aplanku su 50 000 vaizdų kompiuterinės regos projektui, reikia didžiulio ryšio pralaidumo ir stabilumo.
- Rezultatų atkartojamumas: Kad kolega galėtų atkartoti rezultatą, jam reikia būtent to duomenų rinkinio, kurį naudojote jūs, o ne sumažintos jo versijos.
Sprendimas: SendGB duomenų valdymui
SendGB leidžia be kliūčių siųsti didelės apimties duomenų failus. Akimirksniu siųskite modelius ir duomenų rinkinius iš savo kompiuterio į debesiją arba kolegai.
Kodėl DI ir duomenų specialistai renkasi SendGB?
1. Apeikite GitHub apribojimus
Kodą laikykite Git saugykloje, o didelius failus – SendGB. Tiesiog įtraukite SendGB atsisiuntimo nuorodą į savo README.md arba pasidalykite ja per Slack. Taip jūsų saugykla liks tvarkinga ir veiks sparčiai.
2. Siųskite didžiulius mokymo duomenų rinkinius
Nesvarbu, ar tai 20 GB SQL duomenų eksportas, ar aplankas su 100 tūkst. JSON failų – nuvilkite visą aplanką. Suspausime jį ZIP formatu (jei pasirinksite) ir siųsime didžiausiu greičiu.
3. Saugiai dalykitės modeliais
Savaites mokėte nuosavybinį modelį. Nesiųskite jo nesaugiu kanalu.
- Apsauga slaptažodžiu: Apsaugokite atsisiuntimo nuorodą.
- Trumpas galiojimas: Nustatykite, kad nuoroda baigtų galioti po 1 dienos. Gavėjui gavus failą, jis pašalinamas iš debesijos.
4. Suderinamumas su skirtingomis platformomis
Siunčiate duomenis iš Linux serverio analitikui, dirbančiam su Windows? SendGB veikia bet kurioje naršyklėje. Nereikia komandinės eilutės įrankių ar konkrečiai operacinei sistemai skirtų priklausomybių.
Nepakeičiama priemonė visiems duomenų specialistams
- Kompiuterinė rega: Dalykitės didžiuliais neapdorotų vaizdų ar vaizdo įrašų aplankais anotavimui.
- Natūraliosios kalbos apdorojimas: Siųskite didžiulius tekstynus ir žodžių vektorines reprezentacijas.
- Bioinformatika: Saugiai siųskite didelės apimties genomo sekoskaitos duomenis (.FASTQ, .BAM).
- Analitikai: Siųskite sujungtus PowerBI ar Tableau duomenų šaltinius suinteresuotosioms šalims.
Palaikomi visi duomenų formatai
- Modeliai: .h5, .pt, .onnx, .pkl, .model
- Duomenys: .csv, .json, .parquet, .avro, .sql
- Archyvai: .tar.gz, .zip, .7z
- Užrašinės: .ipynb (su didelės apimties išvestimis)
Susitelkite į algoritmą, o ne į failų siuntimą.
