論文の概要: Mitigating Knowledge Conflicts in Language Model-Driven Question Answering

• arxiv url: http://arxiv.org/abs/2411.11344v1
• Date: Mon, 18 Nov 2024 07:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:48.476614
• Title: Mitigating Knowledge Conflicts in Language Model-Driven Question Answering
• Title（参考訳）: 言語モデル駆動型質問応答における知識衝突の軽減
• Authors: Han Cao, Zhaoyang Zhang, Xiangtian Li, Chufan Wu, Hansong Zhang, Wenqing Zhang,
• Abstract要約: 本研究では,入力源と生成内容との明示的な相関によって幻覚を緩和することができることを論じる。 本稿では,学習時の実体とその記述の相関が推論時のモデル行動を妨げる,幻覚,実体に基づく知識衝突の典型的な例に着目した。
• 参考スコア（独自算出の注目度）: 15.29366851382021
• License:
• Abstract: Knowledge-aware sequence to sequence generation tasks such as document question answering and abstract summarization typically requires two types of knowledge: encoded parametric knowledge and retrieved contextual information. Previous work show improper correlation between parametric knowledge and answers in the training set could cause the model ignore input information at test time, resulting in un-desirable model behaviour such as over-stability and hallucination. In this work, we argue that hallucination could be mitigated via explicit correlation between input source and generated content. We focus on a typical example of hallucination, entity-based knowledge conflicts in question answering, where correlation of entities and their description at training time hinders model behaviour during inference.
• Abstract（参考訳）: 文書質問応答や要約のようなシーケンス生成タスクに対する知識を意識したシーケンスは、典型的には、2種類の知識を必要とする: 符号化されたパラメトリック知識と、検索された文脈情報。 これまでの研究では、パラメトリック知識とトレーニングセットの回答との間に不適切な相関が示されていたため、モデルはテスト時に入力情報を無視し、過度な安定性や幻覚といった望ましくないモデル行動を引き起こす可能性がある。 本研究では,入力源と生成内容との明示的な相関によって幻覚を緩和することができることを論じる。 本稿では,学習時の実体とその記述の相関が推論時のモデル行動を妨げる,幻覚,実体に基づく知識衝突の典型的な例に着目した。

関連論文リスト

• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Context Matters: An Empirical Study of the Impact of Contextual Information in Temporal Question Answering Systems [7.393290178125003]
  本稿では,様々な文脈で学習した時間的質問応答システムのロバスト性について実験的に検討する。 これらのコンテキストを混合したトレーニングにより、モデルの堅牢性と精度が向上することを示す。 我々は、コンテキストリッチなTQAデータセットであるContextAQAとContextTQEを導入し、堅牢なTQAモデルをトレーニングするための包括的な評価とガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-06-27T21:31:30Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Contextual Knowledge Learning For Dialogue Generation [13.671946960656467]
  モデルトレーニングの不可欠な部分として,文脈と知識の重み付けに対する新しいアプローチを提案する。 我々は、文脈と知識のための潜在ベクトルを含む文脈知識学習プロセスを通じて、モデルトレーニングをガイドする。
  論文  参考訳（メタデータ） (2023-05-29T16:54:10Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence [37.18100697469402]
  パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
  論文  参考訳（メタデータ） (2022-10-25T01:46:00Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation [78.85622982191522]
  既存のシステムは、トレーニングデータでカバーされる限られたトピックのために、目に見えないトピックでうまく機能しない。 本稿では,異なる知識源を均質化した言語モデルであるPLUGについて述べる。 完全に教師された設定の下で最先端のメソッドと同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-12-15T07:11:02Z)
• Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
  本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。 また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-08-29T05:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。