개요

Burn LM은 모든 기기에서 대규모 모델 추론 및 학습을 민주화하도록 설계된 포괄적인 프레임워크입니다. Burn 딥러닝 프레임워크를 기반으로 구축된 Burn LM은 다양한 백엔드, 모델 유형 및 배포 시나리오를 지원하는 동시에 고성능과 크로스 플랫폼 호환성을 유지하는 모듈식 확장 가능 아키텍처를 제공합니다.

아키텍처 개요

Burn LM은 플러그인 기반 아키텍처를 따르며 , 모델은 중앙 레지스트리를 통해 동적으로 로드 및 관리될 수 있는 추론 서버로 구현됩니다. 이러한 설계는 사용자와 애플리케이션을 위한 통합 인터페이스를 유지하면서 새로운 모델의 원활한 통합을 가능하게 합니다.

 

프로젝트 구조

Burn LM 저장소는 관심사를 명확하게 분리한 모듈식 작업 공간으로 구성됩니다.

요소목적주요 파일

핵심 프레임워크	주요 애플리케이션 진입점 및 조정	crates/burn-lm/src/main.rs
CLI 인터페이스	명령줄 인터페이스 및 사용자 명령	crates/burn-lm-cli/src/
추론 엔진	핵심 추론 추상화 및 클라이언트 인터페이스	crates/burn-lm-inference/src/lib.rs
모델 레지스트리	동적 모델 로딩 및 관리	crates/burn-lm-registry/src/lib.rs
HTTP 서버	REST API 및 웹 인터페이스	crates/burn-lm-http/src/
모델 구현	특정 모델 서버(라마, 패럿 등)	crates/burn-lm-llama/,crates/burn-lm-parrot/

주요 특징

다중 백엔드 지원

Burn LM은 플랫폼에 맞는 최적의 백엔드를 자동으로 감지하고 구성합니다.

플랫폼기본 백엔드대체 백엔드

맥OS	금속	난다레이
Linux/Windows(CUDA 포함)	쿠다	불칸, 르다레이
Linux/Windows(CUDA 없음)	불칸	난다레이
다른	난다레이	-

구성 시스템은 하드웨어 기능에 따라 백엔드를 지능적으로 선택하고 명령줄 인수나 구성 파일을 통해 재정의할 수 있습니다 main.rs:71-90.

플러그인 기반 모델 시스템

모델은 특성을 구현하는 플러그인으로 구현됩니다 InferenceServer. 현재 레지스트리에는 다음이 포함됩니다.

모델변형크기 범위

라마 3	지시하다	8비
라마 3.1	지시하다	8비
라마 3.2	지시하다	1루수, 3루수, 1루수(4쿼터)
타이니라마	베이스	1.1B
앵무새	관습	변하기 쉬운

명령을 사용하여 새 모델을 쉽게 추가할 수 있으며 new, 이 명령은 새 플러그인 크레이트를 부트스트랩합니다 

통합 인터페이스

Burn LM은 모델과 상호 작용하는 다양한 방법을 제공합니다.

• 대화형 셸 : 즉각적인 모델 상호 작용을 위한 기본 인터페이스
• 명령줄 : 자동화를 위한 스크립트 가능 명령
• HTTP API : 웹 애플리케이션을 위한 RESTful 인터페이스
• 웹 인터페이스 : 브라우저 기반 상호작용 및 시각화

시작하기

Burn LM을 사용하려면 저장소를 복제하고 셸을 실행하기만 하면 됩니다.

 

git clone https://github.com/tracel-ai/burn-lm.git
cd burn-lm
cargo burn-lm

 

시스템은 하드웨어 구성을 자동으로 감지하고 적절한 백엔드 및 데이터 유형 최적화를 통해 컴파일합니다. help사용 가능한 명령과 모델을 탐색하려면 입력하세요.

개발 철학

Burn LM은 다음과 같은 몇 가지 핵심 원칙을 염두에 두고 설계되었습니다.

1. 자체 문서화 : CLI는 포괄적인 도움말과 문서화를 제공하여 외부 문서화의 필요성을 줄여줍니다.
2. 확장 가능 : 플러그인 아키텍처를 통해 새로운 모델과 백엔드를 쉽게 추가할 수 있습니다.
3. 성능 최적화 : 자동 백엔드 선택 및 컴파일 최적화로 최대 성능 보장
4. 크로스 플랫폼 : 다양한 운영 체제 및 하드웨어 구성 지원
5. Library-First : 완전한 애플리케이션을 제공하는 동시에 프레임워크는 다른 애플리케이션에 내장되도록 설계되었습니다.

Burn LM은 백엔드 또는 dtype 설정이 변경될 때 애플리케이션을 자동으로 다시 빌드하는 정교한 컴파일 관리자를 사용하여 수동 개입 없이 최적의 성능을 보장합니다.

다음 단계

Burn LM과 함께 여정을 계속하려면:

• 빠른 시작: 기본 명령과 워크플로를 배우세요
• 설치 및 설정: 다양한 플랫폼에 대한 자세한 설정 지침
• 사용 가능한 모델 및 구성: 지원되는 모델 및 구성 옵션 살펴보기
• Burn LM 프레임워크 아키텍처: 기술 아키텍처에 대한 심층 분석

이 프레임워크는 성능 최적화 및 모델 지원 확장에 중점을 두고 활발하게 개발되고 있습니다. 기존 플러그인 시스템을 통해 새로운 모델, 백엔드 및 기능에 대한 기여를 환영합니다.