論文の概要: Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering

• arxiv url: http://arxiv.org/abs/2210.14541v1
• Date: Wed, 26 Oct 2022 08:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:32:59.929748
• Title: Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering
• Title（参考訳）: 右を見よ:抽出質問応答における相対的位置バイアスの緩和
• Authors: Kazutoshi Shinoda, Saku Sugawara, Akiko Aizawa
• Abstract要約: 抽出的質問応答(QA)モデルは、素早い相関を利用して予測する傾向がある。 回答の相対的な位置は、予測を行うための表面的手がかりとしてQAモデルによって利用することができる。 本研究では,相対位置の分布に関する事前知識を必要としないアンサンブルに基づくデバイアス法を提案する。
• 参考スコア（独自算出の注目度）: 38.36299280464046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extractive question answering (QA) models tend to exploit spurious correlations to make predictions when a training set has unintended biases. This tendency results in models not being generalizable to examples where the correlations do not hold. Determining the spurious correlations QA models can exploit is crucial in building generalizable QA models in real-world applications; moreover, a method needs to be developed that prevents these models from learning the spurious correlations even when a training set is biased. In this study, we discovered that the relative position of an answer, which is defined as the relative distance from an answer span to the closest question-context overlap word, can be exploited by QA models as superficial cues for making predictions. Specifically, we find that when the relative positions in a training set are biased, the performance on examples with relative positions unseen during training is significantly degraded. To mitigate the performance degradation for unseen relative positions, we propose an ensemble-based debiasing method that does not require prior knowledge about the distribution of relative positions. We demonstrate that the proposed method mitigates the models' reliance on relative positions using the biased and full SQuAD dataset. We hope that this study can help enhance the generalization ability of QA models in real-world applications.
• Abstract（参考訳）: 抽出的質問応答(QA)モデルは、トレーニングセットが意図しないバイアスを持つ場合、予備的な相関を利用して予測する傾向がある。 この傾向は、モデルが相関が持たない例に一般化できない結果となる。 実世界のアプリケーションにおいて、一般化可能なQAモデルを構築するためには、QAモデルが活用できるスプリアス相関を決定することが不可欠である。 本研究では,質問文脈重なり単語に対する回答の相対的距離として定義される回答の相対的位置を,qaモデルによって予測のための表層的手がかりとして活用できることを見出した。 具体的には、トレーニングセット内の相対位置が偏っている場合、トレーニング中の相対位置が不明な例での成績が著しく低下することを示す。 そこで本研究では, 相対位置の分布に関する事前知識を必要としないアンサンブルに基づくデバイアス手法を提案する。 提案手法は,バイアス付きおよび全スクワッドデータセットを用いて,相対的な位置依存度を軽減できることを実証する。 本研究により,実世界の応用におけるQAモデルの一般化能力の向上が期待できる。

関連論文リスト

• Mitigating Spurious Correlations via Disagreement Probability [4.8884049398279705]
  経験的リスク最小化(ERM)で訓練されたモデルは、ターゲットラベルとバイアス属性の急激な相関に偏りがちである。 すべてのデータサンプルのモデル性能を堅牢に向上する訓練目標を導入する。 次に, バイアスラベルを必要としない脱バイアス法DPR(Disagreement Probability based Resampling for Debiasing)を導出する。
  論文  参考訳（メタデータ） (2024-11-04T02:44:04Z)
• Towards Robust Text Classification: Mitigating Spurious Correlations with Causal Learning [2.7813683000222653]
  本稿では,因果関係へのモデル依存を軽減するために,因果相関ロバスト (CCR) を提案する。 CCRは、逆確率重み付け(IPW)損失関数とともに、反ファクト推論に基づく因果的特徴選択法を統合する。 グループラベルを持たないメソッド間でのCCRの最先端性能を示し、場合によってはグループラベルを利用するモデルと競合する。
  論文  参考訳（メタデータ） (2024-11-01T21:29:07Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models [3.9052860539161918]
  そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。 質問回答(QA: Question Answering)における各種事前学習モデルとデバイアス法について、既知の予測バイアスと新たに発見された予測バイアスの集合に対するロバスト性を評価する。 既存のデバイアス法は、選択された刺激的特徴への依存を軽減することができるが、これらの手法のOOD性能向上は、偏りのある特徴への依存を緩和することによって説明できない。
  論文  参考訳（メタデータ） (2023-05-11T14:35:00Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations? [13.127549105535623]
  入力位置の異なる関数値間の予測的相関を推定することは、しばしば有用である。 まず、後続の予測相関に依存する下流タスクについて考察する:トランスダクティブアクティブラーニング(TAL) TALは高価で間接的にアルゴリズムの開発を誘導できないため、予測相関をより直接的に評価する2つの指標を導入する。
  論文  参考訳（メタデータ） (2020-11-06T03:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。