論文の概要: Discern and Answer: Mitigating the Impact of Misinformation in Retrieval-Augmented Models with Discriminators

• arxiv url: http://arxiv.org/abs/2305.01579v1
• Date: Tue, 2 May 2023 16:28:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 13:50:33.306201
• Title: Discern and Answer: Mitigating the Impact of Misinformation in Retrieval-Augmented Models with Discriminators
• Title（参考訳）: 識別器を用いた検索・拡張モデルにおける誤情報の影響について
• Authors: Giwon Hong, Jeonghwan Kim, Junmo Kang, Sung-Hyon Myaeng, Joyce Jiyoung Whang
• Abstract要約: 本研究では,検索した文書に誤情報が含まれており,両者の対立を引き起こす,より現実的なシナリオについて検討する。 既存のモデルでは、微調整とテキスト内学習の両方において、そのような情報に対して極めて脆弱であることが観察された。 本稿では, 識別器を明示的に微調整したり, GPT-3における識別能力を引き出すことによって, 誤情報に頑健化させる手法を提案する。
• 参考スコア（独自算出の注目度）: 9.613393998561492
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Most existing retrieval-augmented language models (LMs) for question answering assume all retrieved information is factually correct. In this work, we study a more realistic scenario in which retrieved documents may contain misinformation, causing conflicts among them. We observe that the existing models are highly brittle to such information in both fine-tuning and in-context few-shot learning settings. We propose approaches to make retrieval-augmented LMs robust to misinformation by explicitly fine-tuning a discriminator or prompting to elicit discrimination capability in GPT-3. Our empirical results on open-domain question answering show that these approaches significantly improve LMs' robustness to knowledge conflicts. We also provide our findings on interleaving the fine-tuned model's decision with the in-context learning process, paving a new path to leverage the best of both worlds.
• Abstract（参考訳）: 質問応答のための既存の検索強化言語モデル(LM)は、全ての検索された情報が事実正しいと仮定する。 本研究では,検索した文書に誤情報を含ませるより現実的なシナリオについて検討し,両者の対立を引き起こす。 既存のモデルでは、微調整とテキスト内学習の両方において、そのような情報に対して非常に脆弱である。 本稿では, 識別器を明示的に微調整したり, GPT-3における識別能力を引き出すことによって, 誤情報に頑健化させる手法を提案する。 オープンドメインの質問応答に関する実験結果から,これらのアプローチは知識の衝突に対するlmsの堅牢性を大幅に改善することが示された。 また、コンテキスト内学習プロセスで微調整されたモデルの判断をインターリーブし、両方の世界のベストを生かすための新しい道を開くことに関する知見も提供します。

関連論文リスト

• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation [11.756344944226495]
  本稿では、透明性を高める新しいオープンソースリグレードアプローチであるReason-to-Rank(R2R)を提案する。 R2Rは2つのタイプの推論を生成する: 直接関連推論(direct relevance reasoning) - ドキュメントがクエリにどのように対処するかを説明する。 学生モデルは、有意義な推論と文書の書き直しを訓練し、複数のデータセットにまたがる競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T16:25:39Z)
• A Counterfactual Explanation Framework for Retrieval Models [4.562474301450839]
  最適化フレームワークを用いて、特定のクエリに対して検索モデルに好まれない単語がどのような役割を果たすかという問題を解く。 本実験は,統計モデル(BM25など)とディープラーニングモデルの両方に対して,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-09-01T22:33:29Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• How to Enhance Causal Discrimination of Utterances: A Case on Affective Reasoning [22.11437627661179]
  本稿では,会話プロセスにテクスティ.i.d.ノイズ項を組み込むことにより,構造因果モデル(SCM)を構築することを提案する。 ディープラーニングの実装を容易にするため,非構造化会話データを扱うためのcognフレームワークを導入し,非可観測ノイズを学習可能な「単純な原因」とみなすオートエンコーダアーキテクチャを採用した。
  論文  参考訳（メタデータ） (2023-05-04T07:45:49Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence [37.18100697469402]
  パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
  論文  参考訳（メタデータ） (2022-10-25T01:46:00Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。