VLLM
分析結果
- カテゴリ
- AI
- 重要度
- 60
- トレンドスコア
- 24
- 要約
- vLLMは、大規模言語モデルや関連するマルチモーダルモデルの推論と提供のためのオープンソースソフトウェアフレームワークです。カリフォルニア大学バークレー校のスカイコンピューティングラボで最初に開発されました。
- キーワード
vLLM is an open-source software framework for inference and serving of large language models and related multimodal models. Originally developed at the University of California, Berkeley's Sky Computing Lab, the project is centered on PagedAttention, a memory-management method for transformer key–value caches, and supports features such as continuous batching, distributed inference, quantization, and OpenAI-compatible APIs. According to a project maintainer, the "v" in vLLM originally referred to "virtual", inspired by virtual memory.