論文の概要: Hallucinate at the Last in Long Response Generation: A Case Study on Long Document Summarization

• arxiv url: http://arxiv.org/abs/2505.15291v1
• Date: Wed, 21 May 2025 09:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.410688
• Title: Hallucinate at the Last in Long Response Generation: A Case Study on Long Document Summarization
• Title（参考訳）: 長期応答生成の最終段階における幻覚 : 長期文書要約を事例として
• Authors: Joonho Yang, Seunghyun Yoon, Hwan Chang, Byeongjeong Kim, Hwanhee Lee,
• Abstract要約: 幻覚は、生成された長い反応の後半部分に不均等に集中する傾向がある。 我々は、長いシーケンス上での注意と復号のダイナミクスに関連する潜在的寄与要因について検討する。
• 参考スコア（独自算出の注目度）: 6.2696262659249875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have significantly advanced text generation capabilities, including tasks like summarization, often producing coherent and fluent outputs. However, faithfulness to source material remains a significant challenge due to the generation of hallucinations. While extensive research focuses on detecting and reducing these inaccuracies, less attention has been paid to the positional distribution of hallucination within generated text, particularly in long outputs. In this work, we investigate where hallucinations occur in LLM-based long response generation, using long document summarization as a key case study. Focusing on the challenging setting of long context-aware long response generation, we find a consistent and concerning phenomenon: hallucinations tend to concentrate disproportionately in the latter parts of the generated long response. To understand this bias, we explore potential contributing factors related to the dynamics of attention and decoding over long sequences. Furthermore, we investigate methods to mitigate this positional hallucination, aiming to improve faithfulness specifically in the concluding segments of long outputs.
• Abstract（参考訳）: LLM(Large Language Models)は、要約のようなタスクや、コヒーレントで流動的な出力を生成するタスクを含む、かなり高度なテキスト生成機能を持つ。 しかし、資料への忠実さは幻覚の発生によって大きな課題となっている。 これらの不正確さの検出と低減に焦点が当てられているが、特に長いアウトプットにおいて、生成したテキスト内の幻覚の位置分布にはあまり注意が払われていない。 本研究では,LLMを用いた長期応答生成における幻覚の発生状況について,文書要約をキーケーススタディとして用いて検討する。 長い文脈を意識したロングレスポンス生成の挑戦的な設定に焦点を合わせると、一貫性があり、関連する現象が見つかる: 幻覚は生成されたロングレスポンスの後半部に集中する傾向がある。 このバイアスを理解するために、長いシーケンス上での注意と復号のダイナミクスに関連する潜在的寄与要因について検討する。 さらに、この位置幻覚を緩和する手法について検討し、長い出力の結論セグメントに特化して忠実性を高めることを目的とした。

関連論文リスト

• Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation [78.78421340836915]
  オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。 その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。 RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
  論文  参考訳（メタデータ） (2025-05-18T07:10:03Z)
• Towards Long Context Hallucination Detection [49.195854802543714]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。 本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-28T03:47:05Z)
• Shifting Long-Context LLMs Research from Input to Output [32.227507695283144]
  本稿は,NLP研究におけるパラダイムシフトの提唱である。 小説の執筆、長期計画、複雑な推論といったタスクは、広範囲のコンテキストを理解し、一貫性があり、文脈的にリッチで論理的に一貫した拡張テキストを生成するモデルを必要とする。 我々は、この未探索領域の重要性を強調し、高品質で長期のアウトプットを生み出すのに適した基礎的LLMの開発に焦点をあてる。
  論文  参考訳（メタデータ） (2025-03-06T18:59:37Z)
• Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Survey of Hallucination in Natural Language Generation [69.9926849848132]
  近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。 深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。 この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
  論文  参考訳（メタデータ） (2022-02-08T03:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。