論文の概要: Controlling Summarization Length Through EOS Token Weighting

• arxiv url: http://arxiv.org/abs/2506.05017v1
• Date: Thu, 05 Jun 2025 13:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.728582
• Title: Controlling Summarization Length Through EOS Token Weighting
• Title（参考訳）: EOS token Weightingによる要約長制御
• Authors: Zeno Belligoli, Emmanouil Stergiadis, Eran Fainman, Ilya Gusev,
• Abstract要約: 生成されたテキストの長さを制御することは、要約を含む様々なテキスト生成タスクにおいて重要である。 クロスエントロピー損失計算において,EOSトークンを正確に予測することの重要性を高めることで,自動テキスト要約の長さを制御するための簡単なアプローチを開発する。 我々は,エンコーダデコーダと現代のGPTスタイルのLCMを用いて実験を行い,この手法が要約の品質に影響を与えることなく生成長を制御可能であることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Controlling the length of generated text can be crucial in various text-generation tasks, including summarization. Existing methods often require complex model alterations, limiting compatibility with pre-trained models. We address these limitations by developing a simple approach for controlling the length of automatic text summaries by increasing the importance of correctly predicting the EOS token in the cross-entropy loss computation. The proposed methodology is agnostic to architecture and decoding algorithms and orthogonal to other inference-time techniques to control the generation length. We tested it with encoder-decoder and modern GPT-style LLMs, and show that this method can control generation length, often without affecting the quality of the summary.
• Abstract（参考訳）: 生成されたテキストの長さを制御することは、要約を含む様々なテキスト生成タスクにおいて重要である。 既存の方法は、しばしば複雑なモデル変更を必要とし、事前訓練されたモデルとの互換性を制限する。 クロスエントロピー損失計算において、EOSトークンを正確に予測することの重要性を高めることで、自動テキスト要約の長さを制御するための簡単なアプローチを開発することで、これらの制限に対処する。 提案手法はアーキテクチャや復号化アルゴリズムに非依存であり,生成時間を制御する他の推論時間手法と直交する。 我々は,エンコーダデコーダと現代のGPTスタイルのLCMを用いて実験を行い,この手法が要約の品質に影響を与えることなく生成長を制御可能であることを示した。

関連論文リスト

• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes [46.74968005604948]
  本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
  論文  参考訳（メタデータ） (2024-02-10T11:53:48Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)
• Summarization with Precise Length Control [23.688834410051]
  本稿では,トークン数や文数を正確に指定した要約を生成するフレームワークを提案する。 モデルを協調訓練して長さを予測するので、最適な長さの要約を生成することができる。
  論文  参考訳（メタデータ） (2023-05-09T04:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。