論文の概要: Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

• arxiv url: http://arxiv.org/abs/2411.11344v1
• Date: Mon, 18 Nov 2024 07:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:48.476614
• Title: Mitigating Knowledge Conflicts in Language Model-Driven Question Answering
• Title（参考訳）: 言語モデル駆動型質問応答における知識衝突の軽減
• Authors: Han Cao, Zhaoyang Zhang, Xiangtian Li, Chufan Wu, Hansong Zhang, Wenqing Zhang,
• Abstract要約: 本研究では,入力源と生成内容との明示的な相関によって幻覚を緩和することができることを論じる。 本稿では,学習時の実体とその記述の相関が推論時のモデル行動を妨げる,幻覚,実体に基づく知識衝突の典型的な例に着目した。
• 参考スコア（独自算出の注目度）: 15.29366851382021
• License:
• Abstract: Knowledge-aware sequence to sequence generation tasks such as document question answering and abstract summarization typically requires two types of knowledge: encoded parametric knowledge and retrieved contextual information. Previous work show improper correlation between parametric knowledge and answers in the training set could cause the model ignore input information at test time, resulting in un-desirable model behaviour such as over-stability and hallucination. In this work, we argue that hallucination could be mitigated via explicit correlation between input source and generated content. We focus on a typical example of hallucination, entity-based knowledge conflicts in question answering, where correlation of entities and their description at training time hinders model behaviour during inference.
• Abstract（参考訳）: 文書質問応答や要約のようなシーケンス生成タスクに対する知識を意識したシーケンスは、典型的には、2種類の知識を必要とする: 符号化されたパラメトリック知識と、検索された文脈情報。 これまでの研究では、パラメトリック知識とトレーニングセットの回答との間に不適切な相関が示されていたため、モデルはテスト時に入力情報を無視し、過度な安定性や幻覚といった望ましくないモデル行動を引き起こす可能性がある。 本研究では,入力源と生成内容との明示的な相関によって幻覚を緩和することができることを論じる。 本稿では,学習時の実体とその記述の相関が推論時のモデル行動を妨げる,幻覚,実体に基づく知識衝突の典型的な例に着目した。

関連論文リスト

• Distinguishing Ignorance from Error in LLM Hallucinations [43.62904897907926]
  我々は,2種類の幻覚の区別について,これまでの研究が完全には対応していない,クローズブック質問回答(CBQA)に焦点を当てた。 これらの症例の鑑別は幻覚の検出と緩和に不可欠である。
  論文  参考訳（メタデータ） (2024-10-29T14:31:33Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer [42.081311699224585]
  本研究は,文脈知識に根ざした情報を生成するための知識増強ジェネレータについて紹介する。 我々の目的は、文脈的知識が変化した際のパラメトリック記憶から生じる幻覚の存在を探ることである。
  論文  参考訳（メタデータ） (2024-02-22T12:26:07Z)
• Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation [22.38338205905379]
  我々は、新しい報酬関数を導入することで上記の課題を克服するために強化学習アルゴリズムを活用する。 我々の報奨関数は、精度測定値と忠実度測定値を組み合わせて、生成された応答のバランスの取れた品質判定を提供する。
  論文  参考訳（メタデータ） (2023-11-02T02:42:41Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning [87.92209048521153]
  出来事の時間的推論は、物語から2つ以上の出来事の間の時間的関係を特定することを目的としている。 知識の衝突は、コンテキスト内の事象の実際の時間的関係と、モデルによって学習された事前の知識やバイアスとの間にミスマッチがあるときに起こる。
  論文  参考訳（メタデータ） (2023-05-24T10:04:06Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Entity-Based Knowledge Conflicts in Question Answering [29.973926661540524]
  我々は、文脈情報が学習情報と矛盾する知識矛盾の問題を定式化する。 本稿では,幻覚を最小化し,分布外一般化を4%～7%改善するパラメトリック知識の過度依存を軽減する手法を提案する。 本研究は, 実践者が読解よりも幻覚の傾向を評価することの重要性を示し, 緩和戦略が情報進化への一般化を促進することを示すものである。
  論文  参考訳（メタデータ） (2021-09-10T18:29:44Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。