論文の概要: Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

• arxiv url: http://arxiv.org/abs/2411.11344v3
• Date: Wed, 15 Jan 2025 07:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:00.419011
• Title: Mitigating Knowledge Conflicts in Language Model-Driven Question Answering
• Title（参考訳）: 言語モデル駆動型質問応答における知識衝突の軽減
• Authors: Han Cao, Zhaoyang Zhang, Xiangtian Li, Chufan Wu, Hansong Zhang, Wenqing Zhang,
• Abstract要約: 2つの基本的な知識源は、文書ベースの質問応答と文書要約システムにおいて重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータにおける基礎的真理解との間に不整合が存在する場合、システムは推論中に問題のある振る舞いを示す可能性があるという重要な課題が明らかにされている。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。
• 参考スコア（独自算出の注目度）: 15.29366851382021
• License:
• Abstract: In the context of knowledge-driven seq-to-seq generation tasks, such as document-based question answering and document summarization systems, two fundamental knowledge sources play crucial roles: the inherent knowledge embedded within model parameters and the external knowledge obtained through context. Recent studies revealed a significant challenge: when there exists a misalignment between the model's inherent knowledge and the ground truth answers in training data, the system may exhibit problematic behaviors during inference, such as ignoring input context, or generating unfaithful content. Our investigation proposes a strategy to minimize hallucination by building explicit connection between source inputs and generated outputs. We specifically target a common hallucination pattern in question answering, examining how the correspondence between entities and their contexts during model training influences the system's performance at inference time.
• Abstract（参考訳）: 文書ベースの質問応答や文書要約システムといった、知識駆動のSeq-to-seq生成タスクのコンテキストにおいて、2つの基本的な知識源が重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータに真実の答えとの間に不一致が存在する場合、システムは、入力コンテキストを無視したり、不誠実なコンテンツを生成するなど、推論中に問題のある振る舞いを示す可能性がある。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。 具体的には,モデル学習におけるエンティティとコンテキストの対応が,推論時のシステムパフォーマンスにどのように影響するかを検証し,質問応答における一般的な幻覚パターンを特に対象とする。

関連論文リスト

• Distinguishing Ignorance from Error in LLM Hallucinations [43.62904897907926]
  我々は,2種類の幻覚の区別について,これまでの研究が完全には対応していない,クローズブック質問回答(CBQA)に焦点を当てた。 これらの症例の鑑別は幻覚の検出と緩和に不可欠である。
  論文  参考訳（メタデータ） (2024-10-29T14:31:33Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer [42.081311699224585]
  本研究は,文脈知識に根ざした情報を生成するための知識増強ジェネレータについて紹介する。 我々の目的は、文脈的知識が変化した際のパラメトリック記憶から生じる幻覚の存在を探ることである。
  論文  参考訳（メタデータ） (2024-02-22T12:26:07Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning [87.92209048521153]
  出来事の時間的推論は、物語から2つ以上の出来事の間の時間的関係を特定することを目的としている。 知識の衝突は、コンテキスト内の事象の実際の時間的関係と、モデルによって学習された事前の知識やバイアスとの間にミスマッチがあるときに起こる。
  論文  参考訳（メタデータ） (2023-05-24T10:04:06Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Entity-Based Knowledge Conflicts in Question Answering [29.973926661540524]
  我々は、文脈情報が学習情報と矛盾する知識矛盾の問題を定式化する。 本稿では,幻覚を最小化し,分布外一般化を4%～7%改善するパラメトリック知識の過度依存を軽減する手法を提案する。 本研究は, 実践者が読解よりも幻覚の傾向を評価することの重要性を示し, 緩和戦略が情報進化への一般化を促進することを示すものである。
  論文  参考訳（メタデータ） (2021-09-10T18:29:44Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。