論文の概要: Say Less, Mean Better: Training-Free Verbosity Control for Language Models
- arxiv url: http://arxiv.org/abs/2611.04107v1
- Date: Tue, 03 Nov 2026 00:30:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 01:54:20.189358
- Title: Say Less, Mean Better: Training-Free Verbosity Control for Language Models
- Title(参考訳): 言い換えれば,言語モデルのためのトレーニング不要のバービシティ制御
- Abstract要約: MinimalLMは、信頼性のある冗長性制御のためのトレーニング不要のフレームワークである。
不確実性を認識し、長さに依存しない停止調整と構造的完全性ガードレールを組み合わせる。
- 参考スコア(独自算出の注目度): 0.27998963147546135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) often generate responses longer than necessary, increasing inference latency and computational cost. While prompting can encourage conciseness, controlling output length without compromising response completeness remains challenging. Aggressive early stopping can reduce generation costs but risks terminating responses prematurely. We introduce MinimalLM, a training-free framework for reliable verbosity control that combines uncertainty-aware, length-dependent stop-token adjustment with structural completeness guardrails. MinimalLM separates the decision of when to stop from whether stopping is structurally appropriate, coordinating response-level instructions, decoding-time intervention, and completion checks without modifying model parameters or requiring auxiliary models. We evaluate MinimalLM across three open-source LLMs and 330 questions, producing 5,940 responses across baseline and ablation configurations. MinimalLM reduces generated tokens by 47.6%, accelerates individual responses by 19-68%, and eliminates structurally truncated outputs in the primary evaluation. Despite substantial token savings, it achieves an average quality score of 8.04/10, compared with 8.42/10 for unmodified models and 6.46/10 for length-matched truncation. Evaluations across diverse subject domains (such as healthcare, programming, law, and science) demonstrate robust efficiency gains, while ablations establish the complementary roles of decoding control and completeness constraints. Our findings highlight that efficient generation requires more than producing fewer tokens: it requires controlling when generation ends while preserving response integrity. MinimalLM offers a lightweight, training-free approach toward this goal.
- Abstract(参考訳): 大規模言語モデル(LLM)は、しばしば要求よりも長い応答を生成し、推論遅延と計算コストを増大させる。
プロンプトは簡潔さを促進するが、応答完全性を損なうことなく出力長を制御することは依然として困難である。
攻撃的な早期停止は生成コストを削減できるが、応答を早期に終了させるリスクがある。
我々は,不確実性を認識し,長さに依存しない停止調整と構造的完全性ガードレールを組み合わせた,信頼性の高い冗長性制御のためのトレーニングフリーフレームワークであるMinimalLMを紹介した。
MinimalLMは、停止するタイミングが構造的に適切かどうかを判断し、応答レベルの命令をコーディネートし、デコード時の介入を行い、モデルパラメータを変更したり補助モデルを必要とすることなく完了チェックを行う。
3つのオープンソースLCMと330の質問にまたがってMinimalLMを評価し,ベースラインおよびアブレーション構成間で5,940の応答を生成する。
MinimalLMは生成トークンを47.6%削減し、個々の応答を19-68%加速し、一次評価において構造的に歪んだ出力を除去する。
トークンの大幅な節約にもかかわらず、平均品質スコアは8.04/10であり、修正されていないモデルでは8.42/10、長さにマッチしたトランケーションでは6.46/10である。
様々な分野(医療、プログラミング、法学、科学など)における評価は、堅牢な効率向上を示し、一方、アブレーションは、デコード制御と完全性制約の補完的な役割を確立している。
我々の発見は、効率的な生成にはより少ないトークンを生成することが必要であり、応答の整合性を維持しながら、生成がいつ終了するかを制御する必要があることを強調している。
MinimalLMはこの目標に向けて軽量でトレーニングなしのアプローチを提供する。
関連論文リスト
- CIRCE Divines LLM Task Complexity from Constraint Structure [5.675007684604366]
モデルがモデルルーティングを導く前に、大きな言語モデル(LLM)に問題が複雑すぎるかどうかを推定し、テスト時間計算の割り当て方法、エージェントを支援する新しいツールの必要性を提案する。
本稿では,制約グラフに決定的にコンパイルする制約中間表現を構築するために,安価なLCMを用いて問題構造を抽出するCIRCEを紹介する。
論文 参考訳(メタデータ) (2026-10-30T00:08:01Z) - Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs [3.0215547730060206]
AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。
適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
論文 参考訳(メタデータ) (2026-03-16T10:06:05Z) - Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳(メタデータ) (2026-02-27T20:23:59Z) - Fragile Thoughts: How Large Language Models Handle Chain-of-Thought Perturbations [2.5782420501870296]
CoT(Chain-of-Thought)プロンプトは,Large Language Models(LLMs)から推論を引き出す基礎技術として登場した。
本稿は,5種類のCoT摂動型に対するロバスト性に関する総合的な実証的評価を示す: textitMathError, UnitConversion, Sycophancy, SkippedSteps, textitExtraSteps。
論文 参考訳(メタデータ) (2026-02-11T03:11:30Z) - Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。
これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか?
一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
論文 参考訳(メタデータ) (2026-02-07T10:02:58Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳(メタデータ) (2025-07-23T08:14:36Z) - Filter, Correlate, Compress: Training-Free Token Reduction for MLLM Acceleration [42.60904284683844]
トークンの削減を3つの段階に分解するフレームワークを提案する。冗長トークンのフィルタリング,破棄された情報を保存トークンに関連付けること,冗長性を最小化するためにトークンを圧縮することである。
FiCoCo は LLaVA-1.5-7B/LLaVA-NeXT-7B で最大 5.7x/14.7x FLOPs の 92.8%/93.6% の性能保持を実現している。
論文 参考訳(メタデータ) (2024-11-26T18:53:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。