7년차 대기업 반도체 DA가 알려주는 제조업 데이터 사이언스의 모든 것

 

[1시간 15분 / 11.27] 7년차 대기업 반도체 DA가 알려주는 제조업 데이터 사이언스의 모든 것

[출처 : 메타코드m 현직자 특강]

데이터 직무는

많은 분야의 지식들을 종합적으로 사용하는 직무이다.

문제를 정의하기 위해서 내가 아는 풀이 많아야한다.

데이터 사이언티스트

AI(ML/DL) 개발 및 최적화

도메인에 대한 이해도가 높은 사람들이 이 직무를 간다.

문제를 정의하는 방법이 크리티컬해야하기 때문이다.

데이터 애널리스트

데이터를 어떻게 분석할 것인지, 시각화를 통해서 의사결정에 기여한다.

마케팅 전략, 제품 상품화, MD 서비스 런칭 분야

---

데이터 엔지니어

데이터 파이프라인, 플랫폼, 아키텍쳐 구성 및 개발 그리고 서비스 운영

데이터를 효율적으로 관리하고 분석하기 위해 적합한 시스템을 만드는 직무

ML , AI 모델을 가지고 서비스로 만들건지 → 백,프론트 개발

그 데이터는 어디서 가져올것인지 → 엔지니어

ML/DL 엔지니어

어떤 모델을 사용할지 → ML/DL 엔지니어

기본적인 소양

• KafKa
• Spark
• HIVE

---

제조업에서 데이터 사이언스

제조데이터의 정의 및 특징

• 설계, 생산, 장비, 공장 운영 등 다양한 과정에서 발생한 데이터 자료
• 특징: 데이터 타입이 많음,데이터 크기가 큼, 24시간 생산임

제조 AI 적용 예시

• 이상 탐지
• 품질 분석
• 설계, 공급망 최적화
• 수요 예측
• 불량 분석

데이터의 특성이 어떠냐? -> 업무에 대한 도메인이 중요한 직무임

 

• 제조 데이터는 ‘Short and Fat’한 구조가 많다

  

• 출력 변수를 예측하는데 입력 변수간 중복 or 상관성이 적은 변수가 많이 존재함
• 데이터 양에 비해 입력 변수가 지나치게 큼
• 출력변수에 상관없는 입력변수는 과적합임
• 입력변수간 중복은 다중공선성을 발생시켜 학습 파라미터가 불안정해짐

Class Imbalance

• 분류 모형의 경우, 정상 데이터는 많음 그러나 불량 데이터는 적어서 예측력이 낮게 나오는 모형이라 학습하기 어려움

• 불량 데이터를 인식하고 어떤 솔루션을 적용시킬 건지 답을 내려야함 → 범용성이 높아야함
  1. 모델이 바뀌어도 테크가 바뀌면(공정 장치) 새로 모델을 만들어야함
  2. 수백 개의 공정이 있음, 모든 공정 처리 결과에 맞춰서 다 모델을 만드는 것에는 한계가 있음
  3. 똑같은 공정 처리 클래스여도 분석 모델은 데이터에 따라 다름

ML가 이용되는 분야

• 데이터 양이 너무 차이가 나면 이진 분류는 성능에 의문이 있음!
• 클러스터링 분석 : 웨이퍼 맵 패턴 그룹핑
• 분류 분석 : 이미지로부터 불량 탐지 및 자동 분류
• 예측 분석 : 품질 점수 예측, 미측정 데이터값을 예측하는 가상 계측
• 처방 분석 : 머신 러닝 기반 최적 장비 제어 (APC)

---

현재 제조업 조명 포인트 운영효율개선 (OI)

• 수익이 안나는데 Operation Improvement해야한다
• 제품 최적화할건지, 비용 절감할건지, 포인트를 잘 파악하는 것

💡4가지 중 하나만 해도 해결되는 것이 아닌, 이 방법론을 적용하기 위해 모든 플젝을 입체적으로 봐야함, 이 분석이 제도 생산성에 영향을 주는가? 얼만큼? 어떻게 를 설명해야한다.

 

---

채용 공고 사례

현대 자동차

• 데이터 파이프라인 서비스 운영 경험
• 스파크, 에어플로우, 하이브 아는사람

LG 에너지솔루션

• 예측 모델 개발
• 분석 시각화

---

추가 정보

공정, 생산 직무에서 데사 직무로 이직하는 경우 많음

• 공정 엔지니어에서 현업 부서로 오는 경우가 있음
• CDS 직무 (시티즌 데이터 사이언티스트로 모든 직무에서 데이터 분석 능력을 요구함)

실무를 겪고 나서 대학원 진학을 생각하는 것도 좋다

• 정확하게 어떤 학문을 배워야 하는지를 알아보고 가는 것도 좋다.

LLM을 하는 이유

업계 내에서 유의깊게 보는 현재 세계 동향이나 경쟁업체 흐름 이런 내용을 한 번에 학습한 AI가 업무 프로세스에 도움을 준다면, QA의 형태로 개개인의 작업 능률이 올라감

 

💡연구 회사가 아닌 이상, 프로젝트를 주로 담당한다 이윤과 관련된 솔루션을 제시해야하기에 도메인, 비즈니스 로직을 잘 파악할수록 업무 효율 증대 가능

 

연차가 쌓일수록 내가 가져야할 강점은 도메인의 경험임, 트렌디한 경험을 한 학생들을 신입을 뽑음

이 모델링을 한 걸 강조하는 건 신입에게 달림, 이 신입보다 경쟁력이 있는것은 도메인 지식 + 커뮤니케이션 방법 + 보고의 방식, 비즈니스 모델에 대한 이해도가 필요하다는 거임, 이 프로젝트가 어떤 부서의 협업이 필요하고 프로세스는 어떻게 밟아가는 것이 좋을까? 라는 모델만 연구하는 연구직이 아니라면 이런 이해도를 높이는 곳에 장점을 키워야함