論文の概要: Why Machine Reading Comprehension Models Learn Shortcuts?

• arxiv url: http://arxiv.org/abs/2106.01024v1
• Date: Wed, 2 Jun 2021 08:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:35:10.778023
• Title: Why Machine Reading Comprehension Models Learn Shortcuts?
• Title（参考訳）: 機械読解モデルがショートカットを学習する理由
• Authors: Yuxuan Lai, Chen Zhang, Yansong Feng, Quzhe Huang, and Dongyan Zhao
• Abstract要約: トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
• 参考スコア（独自算出の注目度）: 56.629192589376046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies report that many machine reading comprehension (MRC) models can perform closely to or even better than humans on benchmark datasets. However, existing works indicate that many MRC models may learn shortcuts to outwit these benchmarks, but the performance is unsatisfactory in real-world applications. In this work, we attempt to explore, instead of the expected comprehension skills, why these models learn the shortcuts. Based on the observation that a large portion of questions in current datasets have shortcut solutions, we argue that larger proportion of shortcut questions in training data make models rely on shortcut tricks excessively. To investigate this hypothesis, we carefully design two synthetic datasets with annotations that indicate whether a question can be answered using shortcut solutions. We further propose two new methods to quantitatively analyze the learning difficulty regarding shortcut and challenging questions, and revealing the inherent learning mechanism behind the different performance between the two kinds of questions. A thorough empirical analysis shows that MRC models tend to learn shortcut questions earlier than challenging questions, and the high proportions of shortcut questions in training sets hinder models from exploring the sophisticated reasoning skills in the later stage of training.
• Abstract（参考訳）: 近年の研究では、多くの機械学習理解モデル(MRC)が、ベンチマークデータセット上で人間に近づいたり、より良く動作することが報告されている。 しかし、既存の研究によると、多くのmrcモデルがこれらのベンチマークを上回るショートカットを学ぶ可能性があるが、実際のアプリケーションでは性能が不十分である。 本研究では,期待される理解スキルではなく,これらのモデルがショートカットを学習する理由を探る。 現在のデータセットの多くの質問がショートカットのソリューションを持っているという観察に基づいて、トレーニングデータにおけるショートカットの質問の大部分が、モデルを過度にショートカットのトリックに依存していると論じる。 この仮説を検討するために,質問に対してショートカットソリューションを用いて回答できるかどうかを示すアノテーション付き合成データセットを2つ慎重に設計する。 さらに,ショートカットと挑戦的質問に関する学習難度を定量的に解析する2つの新しい手法を提案し,その2つの質問の異なるパフォーマンスの背後にある固有の学習メカニズムを明らかにする。 徹底的な実証分析により、MCCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向にあり、トレーニングセットにおけるショートカットの質問の割合は、訓練後期の洗練された推論スキルの探索を妨げることが示された。

関連論文リスト

• Shortcut Learning in In-Context Learning: A Survey [17.19214732926589]
  ショートカット学習(英: Shortcut learning)とは、モデルが実践的なタスクにおいて、単純で非破壊的な決定ルールを採用する現象を指す。 In-Context Learning(ICL)におけるショートカット学習に関する関連研究をレビューするための新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-11-04T12:13:04Z)
• Navigating the Shortcut Maze: A Comprehensive Analysis of Shortcut Learning in Text Classification by Language Models [20.70050968223901]
  この研究は、過度に単純化されたショートカットを超えてモデルの信頼性を損なう微妙で複雑なショートカットの影響を克服する。 ショートカットを発生、スタイル、概念に分類する包括的なベンチマークを導入する。 本研究は,洗練されたショートカットに対するモデルの弾力性と感受性を系統的に検討する。
  論文  参考訳（メタデータ） (2024-09-26T01:17:42Z)
• Teaching Smaller Language Models To Generalise To Unseen Compositional Questions [6.9076450524134145]
  多様な推論能力を具現化するために,最大93タスクのマルチタスク事前学習の組み合わせを提案する。 検索強化トレーニングデータセットを追加することにより,性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-02T05:00:12Z)
• A Whac-A-Mole Dilemma: Shortcuts Come in Multiples Where Mitigating One Amplifies Others [48.11387483887109]
  視覚システムの信頼性向上の鍵は、既存の方法が複数のショートカットを克服できるか、あるいはWhac-A-Moleゲームで苦労できるかを理解することである。 大規模な基盤モデルを含むコンピュータビジョンモデルは、複数のショートカットが存在する場合に苦労する。 We propose Last Layer Ensemble, a simple-yet- Effective method to mitigate multiple shortcuts without Whac-A-Mole behavior。
  論文  参考訳（メタデータ） (2022-12-09T18:59:57Z)
• Which Shortcut Solution Do Question Answering Models Prefer to Learn? [38.36299280464046]
  質問応答(QA)モデルは、QAデータセットが意図したソリューションではなく、ショートカットソリューションを学ぶ傾向がある。 抽出および複数選択QAにおいて,回答位置と単語ラベル相関を利用したショートカットが優先的に学習されていることを示す。 我々は,ショートカットの学習性を利用して効果的なQA学習セットを構築することを実験的に示す。
  論文  参考訳（メタデータ） (2022-11-29T13:57:59Z)
• Language Prior Is Not the Only Shortcut: A Benchmark for Shortcut Learning in VQA [53.45074798673808]
  VQAモデルは、意図されたソリューションではなく、データセットバイアスによって形成されるショートカットソリューションを学ぶ傾向がある。 複数のOODテストセットに異なる分布シフトを構築することで、様々な種類のショートカットを考慮に入れた新しいデータセットを提案する。 私たちのベンチマークでは、VQAでのショートカット学習をより厳密で包括的なテストベッドを提供しています。
  論文  参考訳（メタデータ） (2022-10-10T13:39:08Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering [42.120558318437475]
  短い学習は、モデルがスプリアス統計規則を利用して正しい回答を生成するが、望ましい行動を展開しない場合に起こる。 近道学習症例の診断を改善するため,視覚質問応答(vqa)の評価手法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T14:28:22Z)
• Towards Interpreting and Mitigating Shortcut Learning Behavior of NLU models [53.36605766266518]
  訓練されたNLUモデルは、長尾分布の先頭に位置する特徴を強く好んでいることを示す。 本研究では,ショートカット度の高いサンプルに対する過信予測を抑えるためのショートカット緩和フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-11T19:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。