일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 개발자부트캠프
- metacodem
- 자기개발
- 독학
- SSAFY
- streamlit
- 데이터사이언티스트
- 데이터분석가
- matacodem
- 싸피
- 데이터 엔지니어
- 자기계발
- 데이터전문가
- 데이터분석
- 티스토리챌린지
- metacode
- 메타코드
- 데이터애널리스트
- JLPT
- 데이터엔지니어
- 머신러닝
- 데이터 사이언티스트
- 오블완
- 부트캠프
- ML
- 메타코드m
- DS
- 파이썬
- 일본어공부
- ssafy 13기
- Today
- Total
목록Hadoop (2)
아카이브

안녕하세요! 여러분~ 메타코드에서 이번에 Spark 강의 장학생을 모집한다는 내용을 보고바로 지원하게 되었습니다.실질적으로 ML이나 Data 분야의 직무는 이런 대기업일수록분산형 데이터베이스를 사용하고 있더군요.제가 일하고 싶은 네이버웹툰의 data engineer 직무에서는대놓고 Hadoop, spark의 경험이 필요합니다. 그렇기에 이번 학기에 대학교 수업에서도 그렇고강의로 학습할 수 있는 경험이 필요하다고 생각했어요. 안그래도 혼자 공부하기 힘들었는데강의가 주어진다니..!!냅다 바로 신청했습니다.메타코드는 데이터 분석, AI 분야에서 프로그래밍 기술을알려주는 교육 플랫폼입니다.제 블로그를 보고 계신 분들이라면 익숙하실텐데요!😅저는 데이터 분석 직무를 진로로 결정 하면서실무적인 프로젝트를 진행해보고..

데이터를 저장하고 계산할 수 있는 능력 → 메모리에 달려 있다.데이터의 용량이 커지면서 메모리로는 감당이 안되는 시점이 옴 →감당할 수 있는 환경이 필요함단순히 저장만이 아니라 불러오는 CPU의 능력도 맞춰서 데이터가 저장되고 불러와야함데이터 처리 능력 향샹 방안멀티 클러스터 : 처리하는 컴퓨터를 늘리자snow, Rmpi : 복수 컴퓨터간 통신이 이뤄질 수 있는 소프트웨어 R mpi는 R에서 쓸 수 있는 mpi임다른 컴퓨터가 얼마만큼의 일을 하고 있는지 서로 통신하려고 만들어진 것임multicore : 하나의 컴퓨터 내에서 처리할 수 있는 공간을 만들자 ex) duel core 등처리 중요성을 두는 방식. 동시에는 진행되지만 cpu 할당이 다름parallel : snow + multicore 💡하둡은 ..