Fugu-MT 論文翻訳(概要): LFM2 Technical Report

論文の概要: LFM2 Technical Report

arxiv url: http://arxiv.org/abs/2511.23404v1
Date: Fri, 28 Nov 2025 17:56:35 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-01 19:47:56.012225
Title: LFM2 Technical Report
Title（参考訳）: LFM2技術報告
Authors: Alexander Amini, Anna Banaszak, Harold Benoit, Arthur Böök, Tarek Dakhran, Song Duong, Alfred Eng, Fernando Fernandes, Marc Härkönen, Anne Harrington, Ramin Hasani, Saniya Karwa, Yuri Khrustalev, Maxime Labonne, Mathias Lechner, Valentine Lechner, Simon Lee, Zetian Li, Noel Loo, Jacob Marks, Edoardo Mosca, Samuel J. Paech, Paul Pak, Rom N. Parnichkun, Alex Quach, Ryan Rogers, Daniela Rus, Nayan Saxena, Bettina Schlager, Tim Seyde, Jimmy T. H. Smith, Aditya Tadimeti, Neehal Tumma,
Abstract要約: LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。 LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と試験用混合物(合計8.3B, 1.5B)を含んでいる。視覚遅延タスクのためのLFM2-VL,音声のためのLFM2-Audio,検索のためのLFM2-ColBERTを構築した。
参考スコア（独自算出の注目度）: 87.58431408281973
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present LFM2, a family of Liquid Foundation Models designed for efficient on-device deployment and strong task capabilities. Using hardware-in-the-loop architecture search under edge latency and memory constraints, we obtain a compact hybrid backbone that combines gated short convolutions with a small number of grouped query attention blocks, delivering up to 2x faster prefill and decode on CPUs compared to similarly sized models. The LFM2 family covers 350M-8.3B parameters, including dense models (350M, 700M, 1.2B, 2.6B) and a mixture-of-experts variant (8.3B total, 1.5B active), all with 32K context length. LFM2's training pipeline includes a tempered, decoupled Top-K knowledge distillation objective that avoids support mismatch; curriculum learning with difficulty-ordered data; and a three-stage post-training recipe of supervised fine-tuning, length-normalized preference optimization, and model merging. Pre-trained on 10-12T tokens, LFM2 models achieve strong results across diverse benchmarks; for example, LFM2-2.6B reaches 79.56% on IFEval and 82.41% on GSM8K. We further build multimodal and retrieval variants: LFM2-VL for vision-language tasks, LFM2-Audio for speech, and LFM2-ColBERT for retrieval. LFM2-VL supports tunable accuracy-latency tradeoffs via token-efficient visual processing, while LFM2-Audio separates audio input and output pathways to enable real-time speech-to-speech interaction competitive with models 3x larger. LFM2-ColBERT provides a low-latency encoder for queries and documents, enabling high-performance retrieval across multiple languages. All models are released with open weights and deployment packages for ExecuTorch, llama.cpp, and vLLM, making LFM2 a practical base for edge applications that need fast, memory-efficient inference and strong task capabilities.
Abstract（参考訳）: LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。エッジレイテンシとメモリ制約下でのハードウェア・イン・ザ・ループアーキテクチャ検索を用いて,ゲート付き短い畳み込みと少数のグループ化されたクエリアテンションブロックを組み合わせ,CPU上で最大2倍高速なプリフィルとデコードを実現する,コンパクトなハイブリッドバックボーンを得る。 LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と、32Kコンテキスト長の混合式(合計8.3B, 1.5B)を含む。 LFM2のトレーニングパイプラインには、サポートミスマッチを回避するための、誘惑的で分離されたTop-K知識蒸留目標、困難データによるカリキュラム学習、教師付き微調整、長さ正規化優先最適化、モデルマージの3段階後のレシピが含まれている。 10-12Tトークンで事前訓練された LFM2 モデルでは、様々なベンチマークで強い結果が得られ、例えば LFM2-2.6B は IFEval で79.56%、GSM8K で82.41% に達した。さらに,視覚言語タスク用 LFM2-VL,音声用 LFM2-Audio,検索用 LFM2-ColBERT というマルチモーダルおよび検索用変種を構築した。 LFM2-VLはトークン効率の視覚処理による調整可能な精度-遅延トレードオフをサポートし、LFM2-Audioは音声入力と出力経路を分離し、3倍のモデルと競合するリアルタイム音声-音声間相互作用を実現する。 LFM2-ColBERTはクエリやドキュメントの低遅延エンコーダを提供し、複数の言語で高速な検索を可能にする。すべてのモデルにはExecuTorch、llama.cpp、vLLM用のオープンウェイトとデプロイメントパッケージが付属している。

関連論文リスト

AndesVL Technical Report: An Efficient Mobile-side Multimodal Large Language Model [40.488271586857884]
AndesVLはQwen3のLLMと様々なビジュアルエンコーダに基づいて0.6Bから4Bのパラメータを持つモバイル側のMLLMのスイートである。効率的なタスク適応とモデル圧縮を容易にするために,Quantization-Aware LoRA Fine-Tuningフレームワークとともに1+N LoRAアーキテクチャを導入する。我々は、MediaTek Dimensity 9500チップにAndesVL-4Bをデプロイする際に、最大6.7倍のピーク復号率、最大30.9%のメモリ削減、1.8ビット/ウェイトを実現した。
論文参考訳（メタデータ） (2025-10-13T15:04:38Z)
MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe [68.04078852416248]
MiniCPM-V 4.5は8Bパラメータモデルであり、高効率で高性能に設計されている。本稿では,モデルアーキテクチャ,データストラテジー,トレーニング手法の3つの改良点を紹介する。 MiniCPM-V 4.5は30B以下のモデル間で最先端の性能を達成する。
論文参考訳（メタデータ） (2025-09-16T19:41:48Z)
Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
論文参考訳（メタデータ） (2025-08-25T09:11:27Z)
OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
論文参考訳（メタデータ） (2025-08-11T20:07:34Z)
OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
論文参考訳（メタデータ） (2025-05-26T12:23:14Z)
StableQuant: Layer Adaptive Post-Training Quantization for Speech Foundation Models [15.735282678521186]
StableQuantは広く使われている音声基礎モデル(SFM)のための適応的後学習量子化アルゴリズムである本稿では,2つのSFM, HuBERT と wav2vec2.0 を用いて自動音声認識(ASR)タスクの評価を行い,従来の PTQ 手法と比較して優れた性能を示した。
論文参考訳（メタデータ） (2025-04-21T07:33:27Z)
FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion [32.0871035771324]
FuseChat-3.0は、異種音源LLMの強みをよりコンパクトな目標LLMに組み込むことによって開発された大型言語モデル(LLM)のスイートである。ターゲットモデルでは、Llama-3.1-8B-インストラクト、Gemma-2-9B-it、Qwen-2.5-72B-インストラクトの3種類に焦点をあてる。結果として得られたFuseChat-3.0モデルは、命令追従、一般的な知識、数学、コーディングといったタスク間で大きなパフォーマンス向上を示す。
論文参考訳（メタデータ） (2025-03-06T09:03:36Z)
SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文参考訳（メタデータ） (2023-06-13T08:57:54Z)
A Light Weight Model for Active Speaker Detection [7.253335671577093]
入力候補を減らし、2次元と3次元の畳み込みを音声・視覚特徴抽出に分割し、計算量が少ないゲート再帰ユニット(GRU)をクロスモーダルモデリングに応用し、軽量な能動話者検出アーキテクチャを構築した。 AVA-ActiveSpeakerデータセットの実験結果は、我々のフレームワークが競合的なmAP性能(94.1%対94.2%)を達成することを示している。私たちのフレームワークは、良好な堅牢性を示すColumbiaデータセットでもうまく機能します。
論文参考訳（メタデータ） (2023-03-08T08:40:56Z)
M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-26T15:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。