論文の概要: Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

• arxiv url: http://arxiv.org/abs/2604.27039v1
• Date: Wed, 29 Apr 2026 17:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.733052
• Title: Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
• Title（参考訳）: 長さモデル:Token-Level長モデリングのためのスケーラブルな値事前トレーニング
• Authors: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang,
• Abstract要約: Length Value Model (LenVM) はトークンレベルのフレームワークで、残りの生成長をモデル化する。 LenVMは推論時に非常に効果的な信号を提供する。 LIFEBenchの正確な長さマッチングタスクでは、LenVMを7Bモデルに適用すると、長さスコアが30.9から64.8に改善される。
• 参考スコア（独自算出の注目度）: 60.023239015571995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token serves as the fundamental unit of computation in modern autoregressive models, and generation length directly influences both inference cost and reasoning performance. Despite its importance, existing approaches lack fine-grained length modeling, operating primarily at the coarse-grained sequence level. We introduce the Length Value Model (LenVM), a token-level framework that models the remaining generation length. By formulating length modeling as a value estimation problem and assigning a constant negative reward to each generated token, LenVM predicts a bounded, discounted return that serves as a monotone proxy for the remaining generation horizon. This formulation yields supervision that is annotation-free, dense, unbiased, and scalable. Experiments on LLMs and VLMs demonstrate LenVM provides a highly effective signal at inference time. On the LIFEBench exact length matching task, applying LenVM to a 7B model improves the length score from 30.9 to 64.8, significantly outperforming frontier closed-source models. Furthermore, LenVM enables continuous control over the trade off between performance and efficiency. On GSM8K at a budget of 200 tokens, LenVM maintains 63% accuracy compared to 6 percent for token budget baseline. It also accurately predicts total generation length from the prompt boundary. Finally, LenVM's token-level values offer an interpretable view of generation dynamics, revealing how specific tokens shift reasoning toward shorter or longer regimes. Results demonstrate that LenVM supports a broad range of applications and token length can be effectively modeled as a token-level value signal, highlighting the potential of LenVM as a general framework for length modeling and as a length-specific value signal that could support future RL training. Code is available at https://github.com/eric-ai-lab/Length-Value-Model.
• Abstract（参考訳）: トーケンは現代の自己回帰モデルにおける計算の基本単位として機能し、生成長は推論コストと推論性能の両方に直接影響を及ぼす。 その重要性にもかかわらず、既存のアプローチは細かな長さのモデリングを欠いており、主に粗い配列レベルで機能している。 残りの生成長をモデル化するトークンレベルのフレームワークであるLength Value Model(LenVM)を紹介します。 長さモデリングを値推定問題として定式化し、各生成されたトークンに一定の負の報酬を割り当てることにより、LenVMは残りの生成地平線に対するモノトンプロキシとして機能する有界、割引されたリターンを予測する。 この定式化は、アノテーションのない、密度の高い、バイアスのない、スケーラブルな管理をもたらす。 LLMとVLMの実験では、LenVMは推論時に非常に効果的な信号を提供する。 LIFEBenchの正確な長さマッチングタスクでは、LenVMを7Bモデルに適用すると、長さスコアが30.9から64.8に向上し、フロンティアのクローズソースモデルよりも大幅に向上する。 さらに、LenVMはパフォーマンスと効率のトレードオフを継続的に制御できる。 200トークンのGSM8Kでは、LenVMはトークン予算ベースラインの6%に対して63%の精度を維持している。 また、即時境界から全生成長を正確に予測する。 最後に、LenVMのトークンレベルの値はジェネレーションダイナミクスの解釈可能なビューを提供し、特定のトークンがより短いあるいは長いレシエーションにどのようにシフトするかを明らかにします。 その結果、LenVMは幅広いアプリケーションをサポートし、トークン長はトークンレベルの値信号として効果的にモデル化できることが示され、LenVMは長さモデリングのための一般的なフレームワークであり、将来のRLトレーニングをサポートするための長さ固有の値信号である可能性が強調された。 コードはhttps://github.com/eric-ai-lab/Length-Value-Modelで入手できる。

関連論文リスト

• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• ATP-LLaVA: Adaptive Token Pruning for Large Vision Language Models [32.6661928486072]
  ATP-LLaVAは、大規模言語モデル層ごとにインスタンス固有のトークンプルーニング比を適応的に決定する新しいアプローチである。 提案手法は,7つの広く使用されているベンチマークにおいて,最小1.9%の劣化しかなく,パフォーマンスを維持しながら平均トークン数を75%削減する。
  論文  参考訳（メタデータ） (2024-11-30T11:42:35Z)
• Training-Free Long-Context Scaling of Large Language Models [114.53296002607993]
  我々は、Llama2 70Bが連続的なトレーニングなしで100k以上のトークンのコンテキストウィンドウをサポート可能なDual Chunk Attentionを提案する。 長いシーケンスの注意をチャンクベースのモジュールに分解することで、DCAはトークンの相対的な位置情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-27T12:39:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。