論文の概要: Why So Gullible? Enhancing the Robustness of Retrieval-Augmented Models against Counterfactual Noise

• arxiv url: http://arxiv.org/abs/2305.01579v3
• Date: Sun, 9 Jun 2024 23:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 05:48:34.439538
• Title: Why So Gullible? Enhancing the Robustness of Retrieval-Augmented Models against Counterfactual Noise
• Title（参考訳）: なぜ可照性が高いのか?-非現実的騒音に対する検索強化モデルのロバスト性を高める
• Authors: Giwon Hong, Jeonghwan Kim, Junmo Kang, Sung-Hyon Myaeng, Joyce Jiyoung Whang,
• Abstract要約: 検索された文書セットでは、「関連」文書でさえ誤った情報や誤った情報を含むことがある。 我々の研究は、"関連"文書でさえ誤った情報や誤った情報を含む、より困難なシナリオを調査します。 本稿では,識別器を明示的に微調整したり,GPT-3.5に識別能力の付与を促すことによって,検索した文書間の知識衝突を処理する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.38859858538404
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Most existing retrieval-augmented language models (LMs) assume a naive dichotomy within a retrieved document set: query-relevance and irrelevance. Our work investigates a more challenging scenario in which even the "relevant" documents may contain misleading or incorrect information, causing conflict among the retrieved documents and thereby negatively influencing model decisions as noise. We observe that existing LMs are highly brittle to the presence of conflicting information in both the fine-tuning and in-context few-shot learning scenarios. We propose approaches for handling knowledge conflicts among retrieved documents by explicitly fine-tuning a discriminator or prompting GPT-3.5 to elicit its discriminative capability. Our empirical results on open-domain QA show that these approaches significantly enhance model robustness. We also provide our findings on incorporating the fine-tuned discriminator's decision into the in-context learning process, proposing a way to exploit the benefits of two disparate learning schemes. Alongside our findings, we provide MacNoise, a machine-generated, conflict-induced dataset to further encourage research in this direction.
• Abstract（参考訳）: ほとんどの既存の検索拡張言語モデル(LM)は、検索されたドキュメントセットの中で、クエリ関連性と非関連性という、単純な二分法を前提としている。 本研究は,「関連文書」でさえ誤認や誤認を招き,検索した文書間に矛盾が生じ,モデル決定がノイズとして負の影響を及ぼすという,より困難なシナリオを考察する。 既存のLMは、微調整と文脈内数ショット学習の両方で矛盾する情報が存在するため、非常に脆弱である。 本稿では,識別器を明示的に微調整したり,GPT-3.5に識別能力の付与を促すことによって,検索した文書間の知識衝突を処理する手法を提案する。 オープンドメインQAにおける実験結果から,これらの手法がモデルロバスト性を大幅に向上させることが示された。 また,2つの異なる学習手法の利点を活かす方法を提案する。 私たちの発見と並行して、この方向の研究をさらに促進するために、マシンが生成し、競合によって引き起こされるデータセットであるMacNoiseを提供しています。

関連論文リスト

• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation [11.756344944226495]
  本稿では、透明性を高める新しいオープンソースリグレードアプローチであるReason-to-Rank(R2R)を提案する。 R2Rは2つのタイプの推論を生成する: 直接関連推論(direct relevance reasoning) - ドキュメントがクエリにどのように対処するかを説明する。 学生モデルは、有意義な推論と文書の書き直しを訓練し、複数のデータセットにまたがる競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T16:25:39Z)
• A Counterfactual Explanation Framework for Retrieval Models [4.562474301450839]
  最適化フレームワークを用いて、特定のクエリに対して検索モデルに好まれない単語がどのような役割を果たすかという問題を解く。 本実験は,統計モデル(BM25など)とディープラーニングモデルの両方に対して,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-09-01T22:33:29Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• How to Enhance Causal Discrimination of Utterances: A Case on Affective Reasoning [22.11437627661179]
  本稿では,会話プロセスにテクスティ.i.d.ノイズ項を組み込むことにより,構造因果モデル(SCM)を構築することを提案する。 ディープラーニングの実装を容易にするため,非構造化会話データを扱うためのcognフレームワークを導入し,非可観測ノイズを学習可能な「単純な原因」とみなすオートエンコーダアーキテクチャを採用した。
  論文  参考訳（メタデータ） (2023-05-04T07:45:49Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence [37.18100697469402]
  パラメトリックな知識が一つの答えを示し、異なる節が異なる答えを示す知識衝突をシミュレートする。 検索性能は、どのソースモデルが依存しているかに大きな影響を与え、現在のモデルは、主にパフォーマンスの低い知識に依存している。 我々は,複数の矛盾する解答候補が提示された場合,モデルが一つの解答を提示することを妨げる新たなキャリブレーション研究を提案する。
  論文  参考訳（メタデータ） (2022-10-25T01:46:00Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。