論文の概要: Zero-Shot Strategies for Length-Controllable Summarization

• arxiv url: http://arxiv.org/abs/2501.00233v2
• Date: Tue, 11 Feb 2025 12:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 16:10:29.515837
• Title: Zero-Shot Strategies for Length-Controllable Summarization
• Title（参考訳）: 長さ制御可能な要約のためのゼロショット戦略
• Authors: Fabian Retkowski, Alexander Waibel,
• Abstract要約: 大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
• 参考スコア（独自算出の注目度）: 56.15356055672189
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) struggle with precise length control, particularly in zero-shot settings. We conduct a comprehensive study evaluating LLMs' length control capabilities across multiple measures and propose practical methods to improve controllability. Our experiments with LLaMA 3 reveal stark differences in length adherence across measures and highlight inherent biases of the model. To address these challenges, we introduce a set of methods: length approximation, target adjustment, sample filtering, and automated revisions. By combining these methods, we demonstrate substantial improvements in length compliance while maintaining or enhancing summary quality, providing highly effective zero-shot strategies for precise length control without the need for model fine-tuning or architectural changes. With our work, we not only advance our understanding of LLM behavior in controlled text generation but also pave the way for more reliable and adaptable summarization systems in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。 これらの課題に対処するために,長さ近似,目標調整,サンプルフィルタリング,自動修正など,一連の手法を導入する。 これらの手法を組み合わせることで、モデル微調整やアーキテクチャの変更を必要とせず、精度の高い長さ制御のための高効率なゼロショット戦略を提供しながら、サマリ品質を維持したり向上させたりしながら、長さコンプライアンスの大幅な改善を示す。 我々の研究により、制御されたテキスト生成におけるLCMの振る舞いの理解を深めるだけでなく、現実のアプリケーションにおいてより信頼性が高く適応可能な要約システムを実現する道を開いた。

関連論文リスト

• Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation [50.821215666749545]
  大きな言語モデル(LLM)は、しばしばその応答長を正確に測ることに失敗し、長さの制約に固執する。 生成中の動的長さフィードバックを組み込んだ新しい長さ制御手法を提案する。 要約タスクと伝記タスクの実験は、目標トークン、単語、文数を達成する際のトレーニング不要なアプローチにより、精度が大幅に向上することを示している。
  論文  参考訳（メタデータ） (2026-01-05T03:49:14Z)
• Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining [2.168162018395079]
  本稿では,モデルの再トレーニングを伴わずに正確な長さ制御を可能にする,迅速な工学手法を提案する。 構造誘導型アプローチでは、プロンプト内に意図的な計画と単語カウント機構を実装し、モデルに指定された長さ制約を注意深く追跡し、従うように促す。 当社のアプローチは、正確な長さ制御を必要とするアプリケーションに対して、即時にデプロイ可能なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-11-03T18:10:42Z)
• Controlling Summarization Length Through EOS Token Weighting [0.0]
  生成されたテキストの長さを制御することは、要約を含む様々なテキスト生成タスクにおいて重要である。 クロスエントロピー損失計算において,EOSトークンを正確に予測することの重要性を高めることで,自動テキスト要約の長さを制御するための簡単なアプローチを開発する。 我々は,エンコーダデコーダと現代のGPTスタイルのLCMを用いて実験を行い,この手法が要約の品質に影響を与えることなく生成長を制御可能であることを示した。
  論文  参考訳（メタデータ） (2025-06-05T13:25:28Z)
• Influences on LLM Calibration: A Study of Response Agreement, Loss Functions, and Prompt Styles [4.477423478591491]
  Calib-nは、信頼度推定のための補助モデルをトレーニングする新しいフレームワークである。 補助的なモデルベース手法では,数発のプロンプトが最も有効であることが判明した。
  論文  参考訳（メタデータ） (2025-01-07T18:48:42Z)
• Length Controlled Generation for Black-box LLMs [70.57649832433451]
  大規模言語モデル (LLM) は印象的な命令に従う能力を示しているが、生成したテキストの長さを正確に管理することは困難である。 本稿では,Metropolis-Hastingsアルゴリズムと重要なサンプリング高速化戦略を組み合わせた,テキスト長制御のための新しい反復サンプリングフレームワークを提案する。 このフレームワークは,Llama3.1における長さ制御の抽象的要約などのタスクに対して,ほぼ100%の成功率を達成する。
  論文  参考訳（メタデータ） (2024-12-19T09:07:38Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [52.739500459903724]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• Control Large Language Models via Divide and Conquer [94.48784966256463]
  本稿では,Lexically Constrained Generation(LCG)に着目し,大規模言語モデル(LLM)のプロンプトベース制御による制御可能生成について検討する。 我々は,レキシカル制約を満たすためのLLMの性能を,プロンプトベース制御により評価し,下流アプリケーションでの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-06T21:20:06Z)
• RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning [35.446870721902904]
  エージェントとしてデプロイされる大規模言語モデル(LLM)は、必要な手動のエンゲージメントを最小限に抑えながら、複数のステップでユーザ指定タスクを解決する。 コード合成の領域における実行フィードバックを活用するためのモデル学習のためのエンドツーエンド強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:25:17Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。