論文の概要: Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining

• arxiv url: http://arxiv.org/abs/2511.01807v1
• Date: Mon, 03 Nov 2025 18:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.36246
• Title: Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining
• Title（参考訳）: プラン・アンド・ライト:モデルリトレーニングを伴わないLCMの構造ガイド長制御
• Authors: Adewale Akinfaderin, Shreyas Subramanian, Akarsha Sehwag,
• Abstract要約: 本稿では,モデルの再トレーニングを伴わずに正確な長さ制御を可能にする,迅速な工学手法を提案する。 構造誘導型アプローチでは、プロンプト内に意図的な計画と単語カウント機構を実装し、モデルに指定された長さ制約を注意深く追跡し、従うように促す。 当社のアプローチは、正確な長さ制御を必要とするアプリケーションに対して、即時にデプロイ可能なソリューションを提供しています。
• 参考スコア（独自算出の注目度）: 2.168162018395079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Length control in Large Language Models (LLMs) is a crucial but under-addressed challenge, with applications ranging from voice interfaces requiring concise responses to research summaries needing comprehensive outputs. Current approaches to length control, including Regularized DPO, Length-Instruction Fine Tuning, and tool-augmented methods, typically require expensive model retraining or complex inference-time tooling. This paper presents a prompt engineering methodology that enables precise length control without model retraining. Our structure-guided approach implements deliberate planning and word counting mechanisms within the prompt, encouraging the model to carefully track and adhere to specified length constraints. Comprehensive evaluations across six state-of-the-art LLMs demonstrate that our method significantly improves length fidelity for several models compared to standard prompting when applied to document summarization tasks, particularly for shorter-to-medium length constraints. The proposed technique shows varying benefits across different model architectures, with some models demonstrating up to 37.6% improvement in length adherence. Quality evaluations further reveal that our approach maintains or enhances overall output quality compared to standard prompting techniques. Our approach provides an immediately deployable solution for applications requiring precise length control, particularly valuable for production environments where model retraining is impractical or cost-prohibitive.
• Abstract（参考訳）: 大規模言語モデル(LLM)における長さ制御は、簡潔な応答を必要とする音声インタフェースから包括的な出力を必要とする研究要約まで、非常に重要な課題である。 正規化DPO、長さ命令ファインチューニング、ツール拡張メソッドなど、現在の長さ制御へのアプローチは、一般的に高価なモデル再トレーニングや複雑な推論時のツールを必要とする。 本稿では,モデルの再トレーニングを伴わずに正確な長さ制御を可能にする,迅速な工学手法を提案する。 構造誘導型アプローチでは、プロンプト内に意図的な計画と単語カウント機構を実装し、モデルに指定された長さ制約を注意深く追跡し、従うように促す。 提案手法は, 文書要約タスク, 特に短距離制約に対して, 文書要約タスクに適用した場合の標準プロンプトよりも, 複数モデルにおける長さ忠実度を有意に向上することを示す。 提案手法は異なるモデルアーキテクチャの様々な利点を示し、いくつかのモデルは最大37.6%の長係の改善を示す。 品質評価により,本手法は標準のプロンプト技術と比較して,全体の品質を維持するか,向上することが明らかとなった。 当社のアプローチは、正確な長さ制御を必要とするアプリケーションに対して、即時にデプロイ可能なソリューションを提供しています。

関連論文リスト

• Self-Steering Language Models [113.96916935955842]
  DisCIPL は "self-steering" 言語モデル (LM) の手法である。 DisCIPLは、Followerモデルの集団によって実行されるタスク固有の推論プログラムを生成する。 我々の研究は、高度に並列化されたモンテカルロ推論戦略の設計空間を開く。
  論文  参考訳（メタデータ） (2025-04-09T17:54:22Z)
• Inference-Time Intervention in Large Language Models for Reliable Requirement Verification [2.3759432635713895]
  推論時間介入技術は微調整に代わる有望な手段である。 我々は、介入が通常時間を要する要求検証プロセスを自動化するためのきめ細かい制御を可能にする方法を実証する。 提案手法は, ベースラインモデルと微調整手法の両方において, 頑健で信頼性の高い出力を実現する。
  論文  参考訳（メタデータ） (2025-03-18T10:49:36Z)
• Disentangling Length Bias In Preference Learning Via Response-Conditioned Modeling [87.17041933863041]
  RLHF(Reinforcement Learning from Human Feedback)は,大規模言語モデル(LLM)の整合化に成功している。 我々は、長さバイアス軽減と長さ指示に従うモデルの性能を高めるために、$textbfR$esponse-$textbfc$onditioned $textbfB$radley-$textbfT$erry (Rc-BT)モデルを導入する。 また、報酬モデルと直接ポリシー最適化のためにRc-BTモデルを利用するRc-RMおよびRc-DPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-02T14:50:25Z)
• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。