마이크로소프트, 자체 AI 추론칩 ‘Maia 300’ 2027년 배치 예고

오늘의 핵심

마이크로소프트가 장문 추론과 다단계 AI 에이전트 작업에 맞춘 자체 가속기 Maia 300을 공개했다. 클라우드 사업자의 자체 칩 확대는 AI 서비스의 성능·비용 구조와 인프라 선택 기준을 바꿀 수 있다.

확인된 사실

• Microsoft는 차세대 자체 AI 가속기 Maia 300을 공개했으며 2027년부터 배치할 계획이다. 근거 [1] [2]
• 회사는 Maia를 Microsoft 제품과 서비스의 주요 AI 추론 시스템으로 확대할 방침이다. 근거 [1] [2]
• Maia 300은 장문 맥락 추론, 응답 지연에 민감한 대화형 서비스, 지속적인 다단계 에이전트 작업을 주요 대상으로 삼는다. 근거 [2]
• Microsoft는 Maia 300이 주요 GPU 기반 시스템보다 메가와트당 토큰 처리량을 40% 높이고, 96개 가속기 랙 구성에서는 Maia 200보다 최대 7배의 토큰 처리량을 낼 것으로 전망했다. 근거 [2]
• 이번 발표는 대형 클라우드 사업자가 외부 GPU에만 의존하지 않고 자체 실리콘과 소프트웨어를 함께 최적화하려는 경쟁이 확대되고 있음을 보여준다. 근거 [1] [2]

왜 중요한가

• Azure·Copilot 기반 서비스를 운영하는 기업에는 추론 용량과 지연시간, 장기 비용 구조가 달라질 가능성이 있다.
• 클라우드의 모델뿐 아니라 해당 모델이 어떤 가속기와 소프트웨어 스택에서 실행되는지가 서비스 품질과 이식성에 더 큰 영향을 줄 수 있다.
• 자체 칩 중심의 수직 통합이 강화되면 특정 클라우드에 최적화된 기능과 개방형 인프라 사이의 선택이 제품 전략의 일부가 된다.

inxight의 관점

• Maia 300의 성능 수치는 아직 Microsoft가 제시한 전망이며 실제 운영 환경의 가격, 가용 지역, 워크로드별 성능이 공개된 것은 아니다. 지금은 이전 결정보다 검증 항목을 설계할 시점이다.
• AI 기능의 총비용은 토큰 단가만으로 판단하기 어렵다. 응답 지연, 동시 처리량, 재시도율, 컨텍스트 길이와 운영 인력까지 포함한 서비스 단위 원가가 필요하다.
• 멀티클라우드가 목적이 아니더라도 모델 호출부와 업무 로직을 분리하면 향후 칩·모델·클라우드 변경에 따른 전환 비용을 낮출 수 있다.

실무 체크리스트

• 현재 AI 기능별로 모델, 클라우드, 평균·상위 95% 응답시간, 토큰 사용량, 실패·재시도율을 함께 기록하는 기준선을 만든다.
• Azure 이용 조직은 Maia 기반 서비스의 제공 지역, 가격, SLA와 기존 GPU 기반 배포의 선택 가능 여부가 공개되는지 추적한다.
• 핵심 AI 기능 한 가지를 선정해 품질뿐 아니라 요청당 총비용과 전력 효율 관련 지표까지 비교할 수 있는 벤치마크 시나리오를 준비한다.
• 애플리케이션이 특정 모델 API나 클라우드 전용 기능에 직접 결합돼 있는지 점검하고, 교체 가능한 추론 계층을 둘 필요성을 검토한다.