AI는 인프라 위에서 자란다
AI의 진짜 몸은 화면 밖 전기·물·반도체 위에 있고, 그 인프라는 소수에게 쏠린다. 인프라를 못 가진 작은 회사가 설 자리는 어디인가 — 같은 모델로도 결과를 가르는 데이터·피드백 루프·평가, 그리고 그 위에서 문제를 끝까지 푸는 일에 대한 생각.
AI를 말할 때 우리는 보통 화면 안에서 벌어지는 일만 떠올린다. 챗봇이 답하고, 이미지가 생성되고, 코드가 쓰이고, 문서가 요약된다. 그래서 AI는 인터넷 어딘가에 떠 있는 가벼운 소프트웨어처럼 보인다.
하지만 AI의 진짜 몸은 화면 밖에 있다. 데이터센터에 있고, GPU에 있고, 변압기와 송전망에 있고, 냉각수와 발전소에 있다. 우리가 보는 건 답변 한 줄이지만, 그 뒤에서는 거대한 물리 시스템이 움직인다. 수많은 반도체가 전기를 먹고 열을 내고, 그 열을 식히려 또 전기와 물이 돈다. AI는 디지털 기술이면서 동시에 매우 물리적인 기술인 셈이다.
그래서 데이터센터는 점점 서버 창고보다 지능을 생산하는 공장을 닮아 가는 듯하다. 과거의 공장이 철과 석탄과 전기로 자동차를 만들었다면, 이 공장은 전기와 데이터로 답변·코드·분석·의사결정을 찍어낸다. 지능이 한때 누군가 만들어 파는 제품이었다면, 이제는 공장에서 대량으로 흘러나오는 생산물에 가까워지고 있다. 그리고 그 흐름을 보면 산업의 큰 움직임도 조금 다르게 읽힌다. 더 많은 연산을 확보하고, 더 큰 데이터센터를 짓고, 더 안정적인 전기를 선점하는 일 — 겉으론 모델 경쟁처럼 보이지만, 그 밑바닥은 지능을 생산하는 능력을 둘러싼 인프라 경쟁에 가깝다.
인프라는 빠르게 늘지 않는다 — 그래서 소수에게 쏠린다
문제는 이 인프라가 무한하지 않다는 점이다. 소프트웨어는 빠르게 복제되고, 모델은 빠르게 개선되고, 사용자는 빠르게 늘어난다. 하지만 전력망은 그렇게 늘지 않는다. 발전소를 짓고 송전망을 확장하고 변압기를 공급하고 냉각 인프라를 갖추는 일은 물리적 세계의 속도로 움직인다. AI는 소프트웨어의 속도로 자라려 하지만, 그 몸을 지탱하는 전기와 물과 장비는 그 속도를 따라오지 못한다.
여기에서 AI의 첫 번째 병목이 생긴다. 모델의 한계가 아니라 인프라의 한계다. 더 많이 쓰려면 더 많은 연산이, 더 많은 전기가, 더 강력한 냉각이 필요하고, 그 끝은 데이터센터 안이 아니라 지역 전력망과 수자원으로 이어진다.
이 긴장에서 한 가지 비대칭이 남는다. AI는 생산성을 많은 사람에게 나눠 줄 수 있지만, AI를 움직이는 인프라의 소유권은 오히려 더 집중되는 쪽으로 간다. 지능을 쓰는 비용은 낮아져도, 그 지능을 생산하는 설비를 쥔 쪽은 소수로 좁혀진다. 그래서 대다수는 그 지능을 소유하기보다 전기처럼 빌려 쓰는 자리에 서게 된다. 권력은 모델에서만 나오지 않는 듯하다. 전기에서, 반도체에서, 데이터센터 부지에서, 냉각 기술에서도 나온다.
인프라를 못 가진 회사는 어디서 이기나
여기까지는 작은 회사에게 불리하게만 보인다. 거대한 AI 팩토리를 직접 소유하는 일은 대부분의 우리에게 가능한 선택지가 아니다. GPU를 사들이고 데이터센터를 짓고 전력망을 쥐는 쪽에 우리가 끼기는 어렵다. 그런데 소유할 수 없다는 사실이 곧 할 일이 없다는 뜻은 아닌 것 같다. 공장을 가질 수 없다면, 그 공장에서 나온 지능을 어떻게 조립하고, 검증하고, 누군가의 실제 문제에 맞게 적용하느냐가 남는다.
그리고 여기서 자주 잊히는 사실 하나가 있다. 모두가 같은 모델을 써도 결과는 같지 않다는 것이다. 같은 부품을 손에 쥐어도, 누가 더 잘 정리된 데이터 구조를, 더 빠른 피드백 루프를, 더 정확한 평가 기준을 가졌느냐에서 결과가 갈린다. 그 차이는 “AI를 쓸 줄 안다”는 데서 오지 않는다. AI로 반복 가능한 업무 시스템을 짜고, 나온 결과를 검증하고 다시 개선하는 루프를 갖췄느냐에서 온다. 모델은 누구에게나 열린 부품이고, 그 부품으로 무엇을 조립하느냐가 각자의 몫으로 남는다.
그래서 흥미로운 질문은 “AI가 얼마나 더 똑똑해지나”가 아닐지도 모른다. 그 똑똑함으로 누가 끝까지 한 문제를 풀어내느냐 쪽이 더 오래 남는 질문 같다.
차이는 모델 밖에서 갈린다
데이터 구조, 피드백 루프, 평가 기준. 같은 모델로도 결과를 가르는 이 세 가지는 말로는 단순한데, 막상 손에 쥐고 매일 돌려 보면 생각보다 까다롭다. 적어도 우리가 자체 제품을 운영하며 부딪힌 자리는 거기였다.
데이터부터 그랬다. “도메인 AI의 8할은 모델이 아니라 데이터”라는 말은 누구나 한다. 그런데 그 8할이 실제로 무엇으로 이루어지는지는, 한국어 식문화 도메인에서 정제·태깅·검증의 공정을 하나씩 들여다보고서야 손에 잡혔다. 명제를 외우는 것과 그 8할을 공정 단위로 쪼개 보는 것은 꽤 다른 경험이었다.
평가도 그랬다. “좋아진 것 같다”는 AI 품질에서 가장 미끄러운 문장이다. 규칙 하나, 판단자 하나를 바꿀 때마다 같은 잣대로 다시 재고 회귀를 먼저 잡는 일 — 주장을 측정으로 바꾸는 장치가 없으면, 개선은 어느새 기분의 영역으로 미끄러진다는 걸 여러 번 확인했다.
판단의 신뢰는 결국 grounding 문제로 돌아왔다. LLM이 유창하게 답한다고 맞는 건 아니다. 그럴듯한 허구를 운에 맡기지 않으려면 판단을 검증 가능한 도메인 사실에 묶는 수밖에 없었다. 유창함과 정확함을 가르는 이 게이트는 화려하지 않지만, 없으면 나머지가 모래 위에 선다.
세 가지 모두, 같은 모델을 쥔 누구나 따라 할 수 없는 비밀이라서가 아니다. 따라 할 수 있는데도 매일 돌리지 않으면 쌓이지 않는다는 쪽에 가깝다. 인프라를 못 가진 자리에서 무엇이 차이를 만드는지는, 그 자리에서 한참을 헤매 본 사람에게만 천천히 보인다.
자기가 설 자리를 찾는 일
AI 시대에는 인프라를 소유한 쪽과 그 위에서 일하는 쪽이 나뉜다. 모두가 소유자가 될 수는 없다. 하지만 소유하지 못한다는 사실이, 그 위에서 의미 있는 문제를 풀 수 없다는 뜻은 아니다. 어쩌면 더 중요한 건 거대한 흐름을 막연히 두려워하는 일이 아니라, 그 흐름 속에서 자신이 설 자리를 정확히 가늠하는 일인지도 모른다.
우리가 자체 제품을 매일 운영하며 데이터와 평가와 피드백 루프를 붙들고 있는 이유도 거기에 가깝다. 인프라를 가질 수 없다면, 가질 수 없는 것을 한탄하기보다 그 위에서 무엇을 끝까지 풀어낼 수 있는지를 묻는 편이 낫다고 믿기 때문이다. 지능은 점점 전기처럼 흔해질 것이다. 그렇다면 남는 질문은 그 전기로 누가 무엇을 켜느냐일 텐데, 그 답은 공장이 아니라 공장 바깥에서, 각자가 선 자리에서 쓰인다.