토크나이저가 없는 다국어 모델을 원하는 기업에서는 잡음이 많거나 리소스가 부족한 텍스트의 취약성을 줄이기 위해 점점 바이트 수준 언어 모델로 전환하고 있습니다. 이러한 틈새 시장을 활용하고 이를 대규모로 실용화하기 위해 Allen Institute of AI(Ai2)는 Olmo 3 모델을 “바이트화”하고 백본과 기능을 재사용하여 활용하는 새로운 모델 제품군인 Bolmo를 출시했습니다. Ai2에 따르면 이 회사는 “최초의 완전 개방형 바이트 수준 언어 모델”인 Bolmo 7B와 Bolmo 1B의 두 가지 버전을 출시했습니다. 회사는 두 모델이 다른 바이트 수준 및 문자 기반 모델과 경쟁적으로 수행되었으며 어떤 경우에는 이를 능가했다고 밝혔습니다. 바이트 수준 언어 모델은 원시 UTF-8 바이트에서 직접 작동하므로 사전 정의된 어휘나 토크나이저가 필요하지 않습니다. 이를 통해 맞춤법 오류, 희귀 언어 및 틀에 얽매이지 않는 텍스트를 보다 안정적으로 처리할 수 있습니다. 이는 조정, 엣지 배포 및 다국어 애플리케이션의 핵심 요구 사항입니다.AI를 배포하는 기업의 경우