이 공고, 이렇게 물어볼 겁니다
Q1
LLM 구조 최적화에 대한 경험을 말해주세요. 구체적으로는 어떤 구조를 어떻게 최적화했는지, 그리고 그 결과는 무엇이었나요?
🎯 LLM 구조 최적화 경험 확인
Q2
비용 효율화를 위한 학습 최적화 및 데이터 최적화에 대한 경험을 말해주세요. 예를 들어, Fp-8 training이나 Dataset mixture search를 사용한 경험은 있나요?
🎯 비용 효율화 경험 확인
Q3
Knowledge Distillation을 활용한 모델 압축에 대한 경험을 말해주세요. 구체적으로는 어떤 방법론을 사용했는지, 그리고 그 결과는 무엇이었나요?
🎯 Knowledge Distillation 경험 확인
Q4
대규모 클러스터 환경에서 초거대 모델 학습을 위한 최적화에 대한 경험을 말해주세요. 예를 들어, communication overlap나 activation recomputation를 사용한 경험은 있나요?
🎯 대규모 클러스터 환경 최적화 경험 확인
Q5
LLM 관련 kernel 개발에 대한 경험을 말해주세요. 구체적으로는 어떤 kernel을 개발했는지, 그리고 그 결과는 무엇이었나요? 또한, 그 경험에서 얻은 교훈은 무엇인가요?
🎯 LLM 관련 kernel 개발 경험 확인
질문만 읽으면 컨닝이에요. 소리 내어 답해보세요 — 어디서 틀어지는지 짚어드립니다.
공고 내용
소개
Language Model Training팀은 카카오의 자체 Large Language Model인 Kanana를 A부터 Z까지 연구 및 개발하고, 이를 기반으로 카카오의 여러 서비스에 기여하고 있습니다. 자체 언어모델인 Kanana를 최고수준으로 개발하고싶은 분들의 지원을 기다립니다.
참고) 연구결과
- 논문
- Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts
- Mixture-Trained Merging for Unified Multi-Objective Models
- No Pain, More Gain: Iterative Merging for Effective Multi-Teacher On-Policy Distillation
- 블로그
- 더 작고 강해진 Kanana SLM 개발 [(link)](https://tech.kakao.com/posts/826)
- Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로 [(link)](https://tech.kakao.com/posts/807)
- Kanana-2 개발기 (2): 개선된 post-training recipe를 중심으로 [(link)](https://tech.kakao.com/posts/808)
- 데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기 [(link)](https://if.kakao.com/2025/session?tab=day2&sessionId=48)
업무
- 추론 및 학습에 효율적인 LLM 구조 탐색 및 최적화 (e.g. Mixture of Experts, Gated Delta Net, Kimi Linear)
- 비용 효율화를 위한 학습 최적화 및 데이터 최적화 (e.g., Fp-8 training, Dataset mixture search)
- 비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (e.g., Pruning & Distillation, Hyperparameter transfer, Scaling law, Optimizer)
- LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착기술 개발 및 연구 (e.g. Synthetic dataset generation)
자격
- CS/AI/ML 등 관련 전공 석사 이상 혹은 이에 준하는 관련 프로젝트 경험을 보유하신 분
- Data/Model/Pipeline/Context/Expert Parallel 등 Model parallel 기반의 모델 학습 경험
- 연구/개발에 대한 지속적인 관심과 새로운 기술/업무에 대한 도전 정신을 가지신 분
- *◆ 우대사항**
- Low-precision training 관련 연구/개발 경험 (e.g., FP8/MXFP4 학습 시 수치 안정성 확보, loss scaling, tensor-wise/block-wise scaling 전략 설계)
- Quantization-Aware Training(QAT) 및 저비트 양자화(W4A8, W4A16 등) 환경에서의 LLM 학습 경험 (e.g., STE 기반 학습, rotation/smoothing 기법 적용, PTQ 대비 품질 회복)
- Knowledge Distillation을 활용한 모델 압축 연구 경험 (e.g., logit/feature-level distillation, on-policy distillation, teacher-student 학습 파이프라인 설계)
- LLM 관련 kernel 개발 경험 (e.g., Triton, CUDA 기반 custom kernel)
- Data/Model/Pipeline/Context/Expert Parallel 등 분산 학습 전략 설계 및 프레임워크(e.g., Megatron-LM, DeepSpeed, FSDP) 기여 경험
- LLM 학습 데이터의 품질 향상과 평가를 위한 연구 개발 경험 및 페타바이트 수준의 텍스트 데이터 수집 및 분산 처리 경험
- 대규모 클러스터 환경(e.g., GPU / TPU)에서 초거대 모델 학습을 위한 최적화 경험 (e.g., communication overlap, activation recomputation, memory-efficient optimizer)