Деректер туралы ғылымды үйренбей-ақ үлкен мәліметтер сәулетшісі бола аласыз ба? Деректердің үлкен сәулетшісі мен деректер зерттеушісі арасындағы айырмашылық неде?


жауап 1:

Көптеген A2A үшін рахмет! :) :)

Бұл мәселе бойынша менің жеке тәжірибем.

Miniclip-те бізде мәліметтану тобы және деректер инженерлері тобы бар. Деректермен қамтамасыз ету тобы барлық үлкен мәліметтерге жауап береді. Data Science тобы оны жұмыста жасай алады, бірақ біз оны нашарлатамыз және баяулатамыз ... біз мұны қаламаймыз! :) :)

Деректерді жобалау командасы шынымен де ақпараттану тобының нақты білімімен айналысудың қажеті жоқ. Дегенмен, олар машиналық оқумен таныс және біз үлкен автоматтандырылған деректер жобаларында бірге жұмыс істейміз.

Сондықтан, менің ойымша, сіз деректер ғылымынсыз, яғни деректер ғалымдарына қажет домен / алгоритм білімінсіз, үлкен мәліметтер сәулетшісі / инженері бола аласыз. Дегенмен, сіз қолыңызға алған кезде сіз әлдеқайда жақсы деректер инженері болып табыласыз.


жауап 2:

Марчин келіседі. Деректерді зерттеушілер үлкен деректер архитекторының үлкен деректер инфрақұрылымын қолдана алады. IMO, деректердің үлкен сәулетшісі білуі керек ең маңызды пікірлер мыналар болып табылады, олар деректердің аналитикасы мен ғылымын қамтиды (төмендегі 3-тармақ):

1) Деректер алу - пакеттік және ағынды

2) Деректер сақтау - NoSQL таратылған сақтау

3) Processing & Analytics ** - пакеттік өңдеу, ағынды өңдеу, талдау. Бұл жерде үлкен деректер сәулетшісі, оларды ұсыну үшін және деректердің үлкен инфрақұрылымына қосу үшін (компаниялардың пайдалану жағдайлары мен деректерді зерттеушілердің қалауына сүйене отырып) оларды талдау үшін қол жетімді талдау құралдары / API туралы кем дегенде білуі керек. Деректерді зерттеушіні активтендіру құралында ескерілуі керек кейбір факторлар: қол жетімді алгоритмдер, ана тілін қолдау, үлкен деректер ортасына қосылу, деректерді талдау функциялары, мәліметтерді профилдеу және т.б.

4) тұтыну - пакеттік немесе ағынды тұтыну

5) Үлестірілген үлкен деректер ортасының әртүрлі компоненттеріне арналған жабдыққа қойылатын талаптар

6) Үлкен деректер ортасының пайдалану талаптары


жауап 3:

Марчин келіседі. Деректерді зерттеушілер үлкен деректер архитекторының үлкен деректер инфрақұрылымын қолдана алады. IMO, деректердің үлкен сәулетшісі білуі керек ең маңызды пікірлер мыналар болып табылады, олар деректердің аналитикасы мен ғылымын қамтиды (төмендегі 3-тармақ):

1) Деректер алу - пакеттік және ағынды

2) Деректер сақтау - NoSQL таратылған сақтау

3) Processing & Analytics ** - пакеттік өңдеу, ағынды өңдеу, талдау. Бұл жерде үлкен деректер сәулетшісі, оларды ұсыну үшін және деректердің үлкен инфрақұрылымына қосу үшін (компаниялардың пайдалану жағдайлары мен деректерді зерттеушілердің қалауына сүйене отырып) оларды талдау үшін қол жетімді талдау құралдары / API туралы кем дегенде білуі керек. Деректерді зерттеушіні активтендіру құралында ескерілуі керек кейбір факторлар: қол жетімді алгоритмдер, ана тілін қолдау, үлкен деректер ортасына қосылу, деректерді талдау функциялары, мәліметтерді профилдеу және т.б.

4) тұтыну - пакеттік немесе ағынды тұтыну

5) Үлестірілген үлкен деректер ортасының әртүрлі компоненттеріне арналған жабдыққа қойылатын талаптар

6) Үлкен деректер ортасының пайдалану талаптары