論文の概要: Look at the First Sentence: Position Bias in Question Answering

• arxiv url: http://arxiv.org/abs/2004.14602v4
• Date: Mon, 8 Mar 2021 15:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:05:48.596109
• Title: Look at the First Sentence: Position Bias in Question Answering
• Title（参考訳）: 最初の文を見る:質問応答における位置バイアス
• Authors: Miyoung Ko, Jinhyuk Lee, Hyunjae Kim, Gangwoo Kim, Jaewoo Kang
• Abstract要約: 本稿では,BiDAF や BERT などの質問応答モデルにおける位置バイアスについて検討する。 エントロピー正則化やバイアスアンサンブルを含む様々なデバイアス法を用いてモデルを訓練する。 解答位置の事前分布をバイアスモデルとして用いることは、位置バイアスを低減するのに非常に効果的であることがわかった。
• 参考スコア（独自算出の注目度）: 21.532952595659705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many extractive question answering models are trained to predict start and end positions of answers. The choice of predicting answers as positions is mainly due to its simplicity and effectiveness. In this study, we hypothesize that when the distribution of the answer positions is highly skewed in the training set (e.g., answers lie only in the k-th sentence of each passage), QA models predicting answers as positions can learn spurious positional cues and fail to give answers in different positions. We first illustrate this position bias in popular extractive QA models such as BiDAF and BERT and thoroughly examine how position bias propagates through each layer of BERT. To safely deliver position information without position bias, we train models with various de-biasing methods including entropy regularization and bias ensembling. Among them, we found that using the prior distribution of answer positions as a bias model is very effective at reducing position bias, recovering the performance of BERT from 37.48% to 81.64% when trained on a biased SQuAD dataset.
• Abstract（参考訳）: 多くの抽出的質問応答モデルは、回答の開始位置と終了位置を予測するように訓練される。 答えをポジションとして予測する選択は、その単純さと有効性に起因する。 本研究では,学習セットにおいて回答位置の分布が高度に歪んでいる場合(例えば,各パスのk番目の文にのみ回答が存在する場合)に,位置として回答を予測できるqaモデルが散発的な位置手がかりを学習し,異なる位置で回答を得られないことを仮定する。 まず、この位置バイアスをBiDAFやBERTなどの一般的な抽出QAモデルで説明し、その位置バイアスがBERTの各層を通してどのように伝播するかを徹底的に検討する。 位置偏りのない位置情報を安全に配信するために,エントロピー正規化やバイアスセンシングを含む様々なデバイアス法を用いてモデルを訓練する。 その結果,偏差モデルとして従来の回答位置の分布を用いることで位置バイアスを低減し,偏差付きSQuADデータセットでトレーニングした場合のBERTのパフォーマンスを37.48%から81.64%に向上させることができた。

関連論文リスト

• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Mitigate Position Bias in Large Language Models via Scaling a Single Dimension [47.792435921037274]
  本稿ではまず,位置バイアスのマイクロレベル表現について考察し,注目重みが位置バイアスのマイクロレベル表現であることを示す。 さらに、位置埋め込みに加えて、因果注意マスクは位置特異的な隠れ状態を作成することによって位置バイアスに寄与する。 これらの知見に基づいて,この位置隠れ状態のスケーリングにより位置バイアスを軽減する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T17:55:38Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Single-Sentence Reader: A Novel Approach for Addressing Answer Position Bias [0.40792653193642503]
  MRCにおける解答位置バイアスに対処するための新しいアプローチとして,Single-Sentence Readerを提案する。 注目すべきは、私たちが6つの異なるモデルで行った実験において、偏りのあるデータセットでトレーニングされた単一文リーダーは、通常のデータセットでトレーニングされたモデルとほぼ一致した結果を得ることができたことです。
  論文  参考訳（メタデータ） (2023-08-08T20:29:13Z)
• Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering [38.36299280464046]
  抽出的質問応答(QA)モデルは、素早い相関を利用して予測する傾向がある。 回答の相対的な位置は、予測を行うための表面的手がかりとしてQAモデルによって利用することができる。 本研究では,相対位置の分布に関する事前知識を必要としないアンサンブルに基づくデバイアス法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T08:01:38Z)
• The Curious Case of Absolute Position Embeddings [65.13827063579728]
  トランスフォーマー言語モデルは、位置情報を用いた単語順序の概念を符号化する。 自然言語では、絶対的な位置ではなく相対的な位置であり、APEがこのような情報を捉えることができる範囲は研究されていない。 我々は, APE を用いて訓練されたモデルが, 位置情報をシフトした文を入力した時点で, 位置情報に基づいて過度に訓練されていることを観察した。
  論文  参考訳（メタデータ） (2022-10-23T00:00:04Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Greedy Gradient Ensemble for Robust Visual Question Answering [163.65789778416172]
  VQA(Visual Question Answering)では、分布バイアスとショートカットバイアスという2つの側面から生じる言語バイアスを強調している。 本稿では,非バイアスベースモデル学習に複数のバイアスモデルを組み合わせた新しいデバイアスフレームワークGreedy Gradient Ensemble(GGE)を提案する。 GGEはバイアス付きモデルを優先的にバイアス付きデータ分布に過度に適合させ、バイアス付きモデルでは解決が難しい例にベースモデルがより注意を払う。
  論文  参考訳（メタデータ） (2021-07-27T08:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。