論文の概要: A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine
Reading Comprehension
- arxiv url: http://arxiv.org/abs/2209.01824v1
- Date: Mon, 5 Sep 2022 08:19:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 13:40:21.341982
- Title: A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine
Reading Comprehension
- Title(参考訳): 機械読解における推論ショートカットの測定と緩和に関する調査
- Authors: Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa
- Abstract要約: 我々は,ハイレベルな言語理解を示す重要な課題である,機械読解(MRC)の分野に焦点をあてる。
本稿では,ショートカットの測定・緩和技術について要約し,今後のショートカット研究の進展を示唆する。
最も重要なことは、MSCにおけるショートカット緩和に関する2つの主要な懸念点である、公共の課題セットの欠如、効果的で再利用可能な評価に必要なコンポーネント、他の領域で顕著な特定の緩和手法の欠如である。
- 参考スコア(独自算出の注目度): 29.912125058306813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The issue of shortcut learning is widely known in NLP and has been an
important research focus in recent years. Unintended correlations in the data
enable models to easily solve tasks that were meant to exhibit advanced
language understanding and reasoning capabilities. In this survey paper, we
focus on the field of machine reading comprehension (MRC), an important task
for showcasing high-level language understanding that also suffers from a range
of shortcuts. We summarize the available techniques for measuring and
mitigating shortcuts and conclude with suggestions for further progress in
shortcut research. Most importantly, we highlight two main concerns for
shortcut mitigation in MRC: the lack of public challenge sets, a necessary
component for effective and reusable evaluation, and the lack of certain
mitigation techniques that are prominent in other areas.
- Abstract(参考訳): ショートカット学習の問題はNLPで広く知られており、近年は重要な研究分野となっている。
データ内の意図しない相関により、高度な言語理解と推論能力を示すことを意図したタスクを簡単に解決できる。
本稿では,機械読影理解(MRC)の分野に着目し,様々なショートカットに悩まされるハイレベルな言語理解を示す重要な課題である。
近道の計測と緩和のための利用可能な手法を要約し,近道研究のさらなる進展を示唆する。
最も重要なことは、mrcにおける近道緩和の2つの主な懸念点である、パブリックチャレンジセットの欠如、効果的で再利用可能な評価に必要なコンポーネント、他の領域で目立つ特定の緩和テクニックの欠如である。
関連論文リスト
- Towards Faithful Explanations: Boosting Rationalization with Shortcuts
Discovery [13.36000250795298]
本稿では,潜在的ショートカットの発見と活用により合理化を促進するショートカット融合選択合理化法を提案する。
具体的には、SSRはいくつかの潜在的なショートカットを検出するショートカット発見アプローチを最初に設計した。
そして,同定されたショートカットを導入することで,合理性を構成するためにショートカットを利用する問題を緩和する2つの戦略を提案する。
論文 参考訳(メタデータ) (2024-03-12T07:24:17Z) - Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large
Language Models [18.908682556794965]
我々はまず,知識ニューロンによる事実的ショートカットの存在を探求する。
我々は,マルチホップ知識編集の観点から,事実的ショートカットによって引き起こされるリスクを分析する。
論文 参考訳(メタデータ) (2024-02-19T07:34:10Z) - Prompt-Guided Retrieval Augmentation for Non-Knowledge-Intensive Tasks [11.197027472291905]
PGRAと呼ばれるNKIタスクのための2段階のフレームワークを提案する。
第1段階ではタスク非依存のレトリバーを採用し、共有静的インデックスを構築し、効率的な候補証拠を選択する。
第2段階では、読者のタスク固有の関連性に応じて、最も近いエビデンスをリランクするプロンプト誘導型リランカを設計する。
論文 参考訳(メタデータ) (2023-05-28T07:27:12Z) - Large Language Models Can be Lazy Learners: Analyze Shortcuts in
In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。
本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。
より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文 参考訳(メタデータ) (2023-05-26T20:56:30Z) - Parsing Objects at a Finer Granularity: A Survey [54.72819146263311]
微細な視覚解析は、農業、リモートセンシング、宇宙技術など、多くの現実世界の応用において重要である。
卓越した研究努力は、異なるパラダイムに従って、これらのきめ細かいサブタスクに取り組む。
我々は,パート関係を学習する新たな視点から,先進的な研究を深く研究する。
論文 参考訳(メタデータ) (2022-12-28T04:20:10Z) - Shortcut Learning of Large Language Models in Natural Language
Understanding [119.45683008451698]
大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。
予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。
これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
論文 参考訳(メタデータ) (2022-08-25T03:51:39Z) - Understanding Attention in Machine Reading Comprehension [56.72165932439117]
本稿では,多面的自己意識と最終的なパフォーマンスとの関係を検討するために,一連の分析実験を実施することに焦点を当てる。
SQuAD(英語)とCMRC 2018(中国語)の定量的解析を行い、BERT, ALBERT, ELECTRAの2つのスパン抽出MCCデータセットについて検討した。
本研究は, 問合せ及び問合せに対する注意が最重要であり, 最終結果と強い相関関係を示すものであることを明らかにする。
論文 参考訳(メタデータ) (2021-08-26T04:23:57Z) - Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。
徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
論文 参考訳(メタデータ) (2021-06-02T08:43:12Z) - Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。
不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。
本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
論文 参考訳(メタデータ) (2020-01-27T11:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。