반도체 공정 엔지니어가 장비 이상 로그를 보고 챗봇에 물어본다. 답이 돌아오는 데 2초. 그 2초 동안 벡터 DB가 수천 개 임베딩을 훑고, LLM이 맥락을 조합해 응답을 생성한다. SK하이닉스는 지금 이 2초의 내부를 뜯어보고 있다. 단순히 좋은 답변을 얻으려는 게 아니라, 그 2초 동안 메모리 칩에서 정확히 무슨 일이 벌어지는지를 관찰하려는 것이다.
GaiA — 챗봇이 아니라 에이전트 팩토리
SK하이닉스가 사내에 배포 중인 GaiA(Generative AI Assistant)는 겉보기엔 여느 기업용 AI 어시스턴트와 비슷하다. 자연어로 질문하면 내부 문서 기반으로 답하는 RAG 챗봇. 그런데 설계 철학이 다른 곳을 향한다. "반도체 밸류체인 전체를 커버하는 업무 특화 에이전트"가 핵심이다. 설계, 제조, 양산, 품질관리 — 각 단계별 워크플로를 반영한 에이전트를 사내 구성원 누구나 만들고 배포할 수 있는 플랫폼. ChatGPT 래퍼가 아니라 에이전트 팩토리에 가깝다.
내부 AI 도입 타임라인도 꽤 공격적이다. 2023년 네이티브 RAG + LLM Chat 베타를 전사 오픈한 뒤, 2024년에는 특정 업무를 실행할 수 있는 도구(tool) 연동을 추가했고, 2025년에는 여러 에이전트가 협업하는 오케스트레이션 구조까지 올라왔다. 3년 만에 "사내 챗봇"에서 "에이전트 오케스트레이션 플랫폼"으로 진화한 셈이다. GTC 2026에서 엔비디아와 2030년까지 자율형 팹을 구축하겠다고 발표한 것도 이 맥락 위에 있다.
칩 만드는 회사가 벡터 검색을 프로파일링하고 있다
여기서 진짜 흥미로운 부분이 나온다. SK하이닉스의 MSR(Memory Systems Research) 조직은 RAG 플랫폼을 클라우드 도입 검증의 타겟 애플리케이션으로 선정했다. 목적이 "더 나은 답변 품질"이 아니다. 메모리와 스토리지의 상호작용이 벡터 유사도 검색 성능에 미치는 영향을 분석하겠다는 거다.
자기 제품의 미래 수요를 직접 프로파일링하는 행위다. HBM을 만들어 엔비디아에 납품하는 회사가, 그 고대역폭 메모리 위에서 돌아갈 AI 워크로드의 병목을 직접 측정하고 있다. 어떤 구성에서 벡터 검색이 빨라지는지, 캐시 히트율은 어떻게 변하는지, DRAM 대역폭과 임베딩 차원 수의 관계는 어떤지. AWS 솔루션 아키텍트와 함께 설계한 벤치마크 환경은 논문용 토이 데이터가 아니라 실제 고객 워크로드를 반영했다.
수직 통합이라는 이름의 해자
한국 대기업들의 RAG 도입 자체는 이제 뉴스거리도 아니다. 토스는 Qwen을 셀프호스팅하고, 카카오페이는 에이전틱 코딩을 실험하고, 당근은 Text-to-SQL 봇을 내부에 굴리고 있다. 그런데 SK하이닉스의 접근은 결이 다르다.
대부분의 기업은 RAG를 "AI 서비스"로 도입한다. 비용 대비 효과를 따지고, 벤더를 비교하고, 파인튜닝할지 RAG로 갈지 저울질한다. SK하이닉스도 그렇게 시작했지만, 동시에 그 서비스가 돌아가는 하드웨어의 다음 세대를 설계하는 데 관찰 데이터를 활용한다. 자기 제품이 자기 제품을 개선하는 피드백 루프. 삼성이나 마이크론에서도 이 정도의 소프트웨어-하드웨어 수직 프로파일링은 공개된 바가 드물다.
거기에 자율형 팹이라는 구체적 목표가 있다. "DX 추진" 같은 막연한 구호가 아니라, 2030년이라는 데드라인 위에 GaiA가 놓여 있다. 에이전트 오케스트레이션이 생산성 도구가 아니라 제조 자동화의 소프트웨어 레이어로 기능해야 한다는 설계다.
반도체 암묵지라는 진짜 문제
결국 이건 지식의 문제다. 반도체 산업의 노하우는 암묵지 비중이 크다. 장비 세팅, 공정 조건, 불량 패턴 — 경력 20년차 엔지니어 머릿속이나 파편적 문서에 흩어져 있는 것들. GaiA의 검색 증강 생성이 이걸 쿼리 가능한 형태로 구조화하면, 인력 이동에 따른 지식 유실을 줄일 수 있다. 반도체 인력 수급이 빠듯한 한국 시장에서 이건 효율 개선이 아니라 생존의 문제다.
SK하이닉스가 칩만 파는 회사에서 "칩 위의 워크로드까지 이해하는 회사"로 옮겨가고 있다. 다음 세대 HBM 스펙 시트에 "벡터 검색 최적화"가 마케팅 문구로 붙는 날이 멀지 않았을 수도 있겠다.