論文の概要: Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation

• arxiv url: http://arxiv.org/abs/2601.01768v1
• Date: Mon, 05 Jan 2026 03:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.754575
• Title: Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation
• Title（参考訳）: LLMは出力長を追跡できるか? 正確な長さ制御のための動的フィードバック機構
• Authors: Meiman Xiao, Ante Wang, Qingguo Hu, Zhongjian Miao, Huangjun Shen, Longyue Wang, Weihua Luo, Jinsong Su,
• Abstract要約: 大きな言語モデル (LLM) は入力テキストの長さを正確に測ることができず、長さの制約に固執しない。 本研究では,生成中の動的長さフィードバックを取り入れた新しい長さ制御手法を提案する。 要約タスクと伝記タスクの実験は、目標トークン、単語、文数を達成する際のトレーニング不要なアプローチにより、精度が大幅に向上することを示している。
• 参考スコア（独自算出の注目度）: 50.821215666749545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Precisely controlling the length of generated text is a common requirement in real-world applications. However, despite significant advancements in following human instructions, Large Language Models (LLMs) still struggle with this task. In this work, we demonstrate that LLMs often fail to accurately measure input text length, leading to poor adherence to length constraints. To address this issue, we propose a novel length regulation approach that incorporates dynamic length feedback during generation, enabling adaptive adjustments to meet target lengths. Experiments on summarization and biography tasks show our training-free approach significantly improves precision in achieving target token, word, or sentence counts without compromising quality. Additionally, we demonstrate that further supervised fine-tuning allows our method to generalize effectively to broader text-generation tasks.
• Abstract（参考訳）: 生成されたテキストの長さを正確に制御することは、現実世界のアプリケーションでは一般的な要件である。 しかし、人間の指示に従って大幅に進歩したにもかかわらず、Large Language Models (LLMs) はこの課題に苦戦している。 本研究では, LLMが入力テキスト長を正確に測定できない場合が多く, 長さ制約への順守が不十分であることを示す。 この問題に対処するために,生成中の動的長さフィードバックを取り入れた新しい長さ制御手法を提案する。 要約タスクと伝記タスクの実験では、トレーニング不要なアプローチは、品質を損なうことなく目標トークン、単語、文数を達成する精度を著しく向上させる。 さらに,教師付き微調整により,より広範なテキスト生成タスクに効果的に一般化できることが実証された。

関連論文リスト

• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• Precise Length Control in Large Language Models [1.3654846342364308]
  大規模言語モデル(LLM)は、プロダクションシステムでますます使われている。 本稿では,事前学習したデコーダのみのLCMを応答長の正確な制御に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-16T16:22:27Z)
• PositionID: LLMs can Control Lengths, Copy and Paste with Explicit Positional Awareness [41.87219806677628]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な機能を示している。 これらの進歩にもかかわらず、LLMは長さ制御の課題に直面している。 そこで本研究では,この課題に対処するための新しいアプローチとして,PhysorID PromptingとPhysorID Fine-Tuningを提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:15:36Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。