論文の概要: Discern and Answer: Mitigating the Impact of Misinformation in
Retrieval-Augmented Models with Discriminators
- arxiv url: http://arxiv.org/abs/2305.01579v1
- Date: Tue, 2 May 2023 16:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 13:50:33.306201
- Title: Discern and Answer: Mitigating the Impact of Misinformation in
Retrieval-Augmented Models with Discriminators
- Title(参考訳): 識別器を用いた検索・拡張モデルにおける誤情報の影響について
- Authors: Giwon Hong, Jeonghwan Kim, Junmo Kang, Sung-Hyon Myaeng, Joyce Jiyoung
Whang
- Abstract要約: 本研究では,検索した文書に誤情報が含まれており,両者の対立を引き起こす,より現実的なシナリオについて検討する。
既存のモデルでは、微調整とテキスト内学習の両方において、そのような情報に対して極めて脆弱であることが観察された。
本稿では, 識別器を明示的に微調整したり, GPT-3における識別能力を引き出すことによって, 誤情報に頑健化させる手法を提案する。
- 参考スコア(独自算出の注目度): 9.613393998561492
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Most existing retrieval-augmented language models (LMs) for question
answering assume all retrieved information is factually correct. In this work,
we study a more realistic scenario in which retrieved documents may contain
misinformation, causing conflicts among them. We observe that the existing
models are highly brittle to such information in both fine-tuning and
in-context few-shot learning settings. We propose approaches to make
retrieval-augmented LMs robust to misinformation by explicitly fine-tuning a
discriminator or prompting to elicit discrimination capability in GPT-3. Our
empirical results on open-domain question answering show that these approaches
significantly improve LMs' robustness to knowledge conflicts. We also provide
our findings on interleaving the fine-tuned model's decision with the
in-context learning process, paving a new path to leverage the best of both
worlds.
- Abstract(参考訳): 質問応答のための既存の検索強化言語モデル(LM)は、全ての検索された情報が事実正しいと仮定する。
本研究では,検索した文書に誤情報を含ませるより現実的なシナリオについて検討し,両者の対立を引き起こす。
既存のモデルでは、微調整とテキスト内学習の両方において、そのような情報に対して非常に脆弱である。
本稿では, 識別器を明示的に微調整したり, GPT-3における識別能力を引き出すことによって, 誤情報に頑健化させる手法を提案する。
オープンドメインの質問応答に関する実験結果から,これらのアプローチは知識の衝突に対するlmsの堅牢性を大幅に改善することが示された。
また、コンテキスト内学習プロセスで微調整されたモデルの判断をインターリーブし、両方の世界のベストを生かすための新しい道を開くことに関する知見も提供します。
関連論文リスト
- Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive
Learning [71.8876256714229]
本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。
提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-01-09T05:16:52Z) - Assessing Privacy Risks in Language Models: A Case Study on
Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。
テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。
我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文 参考訳(メタデータ) (2023-10-20T05:44:39Z) - How to Enhance Causal Discrimination of Utterances: A Case on Affective
Reasoning [22.11437627661179]
本稿では,会話プロセスにテクスティ.i.d.ノイズ項を組み込むことにより,構造因果モデル(SCM)を構築することを提案する。
ディープラーニングの実装を容易にするため,非構造化会話データを扱うためのcognフレームワークを導入し,非可観測ノイズを学習可能な「単純な原因」とみなすオートエンコーダアーキテクチャを採用した。
論文 参考訳(メタデータ) (2023-05-04T07:45:49Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating
Models to Reflect Conflicting Evidence [37.18100697469402]
パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。
検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。
我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
論文 参考訳(メタデータ) (2022-10-25T01:46:00Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Abstract, Rationale, Stance: A Joint Model for Scientific Claim
Verification [18.330265729989843]
我々は,3つのタスクのモジュールを,機械読解フレームワークを用いて共同で学習するアプローチをARSJointとして提案する。
ベンチマークデータセットSciFactの実験結果は、我々のアプローチが既存の作業より優れていることを示している。
論文 参考訳(メタデータ) (2021-09-13T10:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。