論文の概要: Which Shortcut Solution Do Question Answering Models Prefer to Learn?

• arxiv url: http://arxiv.org/abs/2211.16220v1
• Date: Tue, 29 Nov 2022 13:57:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 16:03:30.319822
• Title: Which Shortcut Solution Do Question Answering Models Prefer to Learn?
• Title（参考訳）: 質問応答モデルで学ぶべきショートカットソリューションは何か?
• Authors: Kazutoshi Shinoda, Saku Sugawara, Akiko Aizawa
• Abstract要約: 質問応答(QA)モデルは、QAデータセットが意図したソリューションではなく、ショートカットソリューションを学ぶ傾向がある。 抽出および複数選択QAにおいて,回答位置と単語ラベル相関を利用したショートカットが優先的に学習されていることを示す。 我々は,ショートカットの学習性を利用して効果的なQA学習セットを構築することを実験的に示す。
• 参考スコア（独自算出の注目度）: 38.36299280464046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question answering (QA) models for reading comprehension tend to learn shortcut solutions rather than the solutions intended by QA datasets. QA models that have learned shortcut solutions can achieve human-level performance in shortcut examples where shortcuts are valid, but these same behaviors degrade generalization potential on anti-shortcut examples where shortcuts are invalid. Various methods have been proposed to mitigate this problem, but they do not fully take the characteristics of shortcuts themselves into account. We assume that the learnability of shortcuts, i.e., how easy it is to learn a shortcut, is useful to mitigate the problem. Thus, we first examine the learnability of the representative shortcuts on extractive and multiple-choice QA datasets. Behavioral tests using biased training sets reveal that shortcuts that exploit answer positions and word-label correlations are preferentially learned for extractive and multiple-choice QA, respectively. We find that the more learnable a shortcut is, the flatter and deeper the loss landscape is around the shortcut solution in the parameter space. We also find that the availability of the preferred shortcuts tends to make the task easier to perform from an information-theoretic viewpoint. Lastly, we experimentally show that the learnability of shortcuts can be utilized to construct an effective QA training set; the more learnable a shortcut is, the smaller the proportion of anti-shortcut examples required to achieve comparable performance on shortcut and anti-shortcut examples. We claim that the learnability of shortcuts should be considered when designing mitigation methods.
• Abstract（参考訳）: 質問応答(QA)モデルは、QAデータセットが意図したソリューションではなく、ショートカットソリューションを学ぶ傾向がある。 ショートカットソリューションを学習したQAモデルは、ショートカットが有効であるショートカット例では人間レベルの性能を達成することができるが、これらの同じ挙動は、ショートカットが無効である反ショートカット例では一般化ポテンシャルを低下させる。 この問題を軽減するために様々な方法が提案されているが、ショートカットの特性を考慮に入れていない。 ショートカットの学習性、すなわちショートカットの学習がいかに容易かは、問題を緩和するのに有用であると仮定する。 そこで我々はまず,抽出および複数選択QAデータセットにおける代表ショートカットの学習性について検討する。 バイアス付きトレーニングセットを用いた行動テストでは,回答位置と単語ラベル相関を利用したショートカットが,抽出型と複数語型qaでそれぞれ優先的に学習されることが明らかとなった。 ショートカットがより学習しやすいほど、損失の状況はパラメータ空間のショートカットソリューションを中心によりフラットで深くなります。 また,好みのショートカットが利用可能になると,情報理論的な観点からタスクの実行が容易になる傾向がみられた。 最後に,効果的なqaトレーニングセットを構築するために,ショートカットの学習能力を活用できることを実験的に示す。ショートカットがより学習しやすいほど,ショートカットとアンチカットの例で同等のパフォーマンスを達成するのに必要なアンチカット例の割合が小さくなる。 提案手法では,ショートカットの学習性を考慮すべきである。

関連論文リスト

• Exposing Image Classifier Shortcuts with Counterfactual Frequency (CoF) Tables [0.0]
  「ショートカット」は、新しいデータへの一般化に失敗するトレーニングデータから簡単に学習できるパターンである。 例えば、馬を認識するための著作権の透かし、ハスキーを認識するための雪の背景、悪性皮膚病変を検出するためのインクマーキングなどである。 我々は、グローバルな洞察にインスタンスベースの説明を集約する新しいアプローチである、対実周波数表を導入する。
  論文  参考訳（メタデータ） (2024-05-24T15:58:02Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• A Whac-A-Mole Dilemma: Shortcuts Come in Multiples Where Mitigating One Amplifies Others [48.11387483887109]
  視覚システムの信頼性向上の鍵は、既存の方法が複数のショートカットを克服できるか、あるいはWhac-A-Moleゲームで苦労できるかを理解することである。 大規模な基盤モデルを含むコンピュータビジョンモデルは、複数のショートカットが存在する場合に苦労する。 We propose Last Layer Ensemble, a simple-yet- Effective method to mitigate multiple shortcuts without Whac-A-Mole behavior。
  論文  参考訳（メタデータ） (2022-12-09T18:59:57Z)
• Language Prior Is Not the Only Shortcut: A Benchmark for Shortcut Learning in VQA [53.45074798673808]
  VQAモデルは、意図されたソリューションではなく、データセットバイアスによって形成されるショートカットソリューションを学ぶ傾向がある。 複数のOODテストセットに異なる分布シフトを構築することで、様々な種類のショートカットを考慮に入れた新しいデータセットを提案する。 私たちのベンチマークでは、VQAでのショートカット学習をより厳密で包括的なテストベッドを提供しています。
  論文  参考訳（メタデータ） (2022-10-10T13:39:08Z)
• Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
  トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
  論文  参考訳（メタデータ） (2021-06-02T08:43:12Z)
• Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering [42.120558318437475]
  短い学習は、モデルがスプリアス統計規則を利用して正しい回答を生成するが、望ましい行動を展開しない場合に起こる。 近道学習症例の診断を改善するため,視覚質問応答(vqa)の評価手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T14:28:22Z)
• Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models [53.36605766266518]
  訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。 本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-11T19:39:56Z)
• Information-Preserving Contrastive Learning for Self-Supervised Representations [42.74927142208983]
  対照学習は、監督なしで有用な表現を学ぶのに非常に効果的です。 下流のタスクとは無関係なショートカットを学び、関連する情報を破棄することがあります。 本稿では,教師なし表現学習の新しい枠組みである情報保存コントラスト学習(IPCL)を提案する。
  論文  参考訳（メタデータ） (2020-12-17T22:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。