論文の概要: On Stable Long-Form Generation: Benchmarking and Mitigating Length Volatility

• arxiv url: http://arxiv.org/abs/2605.01357v1
• Date: Sat, 02 May 2026 10:03:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.725018
• Title: On Stable Long-Form Generation: Benchmarking and Mitigating Length Volatility
• Title（参考訳）: 安定な長期生成について - ベンチマークと長さ変動の緩和
• Authors: Zhitao He, Haolin Yang, Rui Min, Zeyu Qin, Yi R. Fung,
• Abstract要約: 大規模言語モデルは、長文理解では優れているが、長文生成には大きな制限がある。 既存の研究は主に単一世代の品質に焦点が当てられており、一般的には出力のボラティリティを見下ろしている。 本稿では,長文テキストベンチマークにおけるVOlatilityを提案し,長文生成の長さのボラティリティを定量化する。 長期出力のボラティリティを軽減するため,ロジスブースティングによる安定生成を提案する。
• 参考スコア（独自算出の注目度）: 12.599528181936059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) excel at long-context understanding but exhibit significant limitations in long-form generation. Existing studies primarily focus on single-generation quality, generally overlooking the volatility of the output. This volatility not only leads to significant computational costs but also severely impacts the models' reliable application. To address this gap, our work unfolds in three stages: benchmarking, probing, and mitigation. We first propose the VOlatility in Long-form Text Benchmark (VOLTBench), a novel heterogeneous-task benchmark designed to systematically quantify the length volatility of long-form generation. Subsequently, by analyzing attention traces, we conduct an in-depth probe to identify several common internal patterns that cause this volatility. Finally, to mitigate long-form output volatility, we propose Stable Generation via Logits Boosting (GLoBo), a lightweight decoding-stage optimization strategy, designed to significantly enhance both the length accuracy and stability of long-form generation without additional training. Extensive experiments on VOLTBench provide the first systematic confirmation of severe long-form output instability in mainstream models and validate that our proposed method successfully improves the mean output length of the base model by 148% and reduces the length volatility by 69%, while maintaining high generation quality.
• Abstract（参考訳）: LLM(Large Language Models)は、長文理解において優れているが、長文生成において大きな制限がある。 既存の研究は主に単一世代の品質に焦点が当てられており、一般的には出力のボラティリティを見下ろしている。 このボラティリティは計算コストを大幅に上回るだけでなく、モデルの信頼性に深刻な影響を及ぼす。 このギャップに対処するため、当社の作業は、ベンチマーク、プローブ、緩和という3つの段階に展開しています。 まず,長文テキストベンチマーク(VOLTBench)におけるVOlatilityを提案する。 その後,注目軌跡を解析することにより,この変動の原因となる複数の共通内部パターンの同定を行う。 最後に,長期出力のボラティリティを緩和するために,より軽量な復号ステージ最適化戦略であるGLoBo(Stable Generation via Logits Boosting)を提案する。 VOLTBenchの大規模実験により,本手法がベースモデルの平均出力長を148%向上し,高い生成品質を維持しつつ,最大出力長を69%低減することを確認した。

関連論文リスト

• SA-DiffuSeq: Addressing Computational and Scalability Challenges in Long-Document Generation with Sparse Attention [45.88028371034407]
  SA-DiffuSeqは、長期ドキュメントモデリングのスケーラビリティを改善するために、疎注意を統合する拡散フレームワークである。 この結果から, 分散モデルに構造的疎結合を組み込むことが, 効率的かつ表現力のある長文生成に有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2025-12-23T19:35:02Z)
• Overflow Prevention Enhances Long-Context Recurrent LLMs [81.71585057993074]
  LLMの最近のトレンドは、長いコンテキスト処理効率を改善するために、再帰的なサブクワッドラティックモデルの開発である。 本研究では,大規模な長期コンテキストモデルにおいて,その固定サイズ再帰記憶が性能に与える影響について検討する。 実験の結果、これらのモデルが拡張コンテキストでトレーニングされている場合でも、長いコンテキストの使用は未利用のままであることが判明した。
  論文  参考訳（メタデータ） (2025-05-12T17:45:05Z)
• Breaking the Context Bottleneck on Long Time Series Forecasting [10.715175460720403]
  長期の時系列予測は、経済、エネルギー、輸送における計画と意思決定に不可欠である。 最近の進歩によりこれらのモデルの効率は向上したが、より長いシーケンスを効果的に活用することの難しさは持続している。 長いシーケンスの効率的かつ効率的な処理を実現するために,Logsparse Decomposable Multiscaling (LDM) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-21T10:29:34Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。