論文の概要: A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2209.01824v1
• Date: Mon, 5 Sep 2022 08:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 13:40:21.341982
• Title: A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension
• Title（参考訳）: 機械読解における推論ショートカットの測定と緩和に関する調査
• Authors: Xanh Ho, Johannes Mario Meissner, Saku Sugawara, and Akiko Aizawa
• Abstract要約: 我々は,ハイレベルな言語理解を示す重要な課題である,機械読解(MRC)の分野に焦点をあてる。 本稿では,ショートカットの測定・緩和技術について要約し,今後のショートカット研究の進展を示唆する。 最も重要なことは、MSCにおけるショートカット緩和に関する2つの主要な懸念点である、公共の課題セットの欠如、効果的で再利用可能な評価に必要なコンポーネント、他の領域で顕著な特定の緩和手法の欠如である。
• 参考スコア（独自算出の注目度）: 29.912125058306813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The issue of shortcut learning is widely known in NLP and has been an important research focus in recent years. Unintended correlations in the data enable models to easily solve tasks that were meant to exhibit advanced language understanding and reasoning capabilities. In this survey paper, we focus on the field of machine reading comprehension (MRC), an important task for showcasing high-level language understanding that also suffers from a range of shortcuts. We summarize the available techniques for measuring and mitigating shortcuts and conclude with suggestions for further progress in shortcut research. Most importantly, we highlight two main concerns for shortcut mitigation in MRC: the lack of public challenge sets, a necessary component for effective and reusable evaluation, and the lack of certain mitigation techniques that are prominent in other areas.
• Abstract（参考訳）: ショートカット学習の問題はNLPで広く知られており、近年は重要な研究分野となっている。 データ内の意図しない相関により、高度な言語理解と推論能力を示すことを意図したタスクを簡単に解決できる。 本稿では,機械読影理解(MRC)の分野に着目し,様々なショートカットに悩まされるハイレベルな言語理解を示す重要な課題である。 近道の計測と緩和のための利用可能な手法を要約し,近道研究のさらなる進展を示唆する。 最も重要なことは、mrcにおける近道緩和の2つの主な懸念点である、パブリックチャレンジセットの欠如、効果的で再利用可能な評価に必要なコンポーネント、他の領域で目立つ特定の緩和テクニックの欠如である。

関連論文リスト

• Shortcut Learning in In-Context Learning: A Survey [17.19214732926589]
  ショートカット学習(英: Shortcut learning)とは、モデルが実践的なタスクにおいて、単純で非破壊的な決定ルールを採用する現象を指す。 In-Context Learning(ICL)におけるショートカット学習に関する関連研究をレビューするための新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-11-04T12:13:04Z)
• The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends [64.99423243200296]
  会話分析(CA)は、会話データから重要な情報を発見し分析する。 本稿では,CAタスクの徹底的なレビューとシステム化を行い,既存の業務を要約する。 会話シーンの再構築,奥行きの属性分析,ターゲットトレーニングの実行,会話の生成から,CAの4つの重要なステップを導出した。
  論文  参考訳（メタデータ） (2024-09-21T16:52:43Z)
• Robustness Assessment of Mathematical Reasoning in the Presence of Missing and Contradictory Conditions [48.251724997889184]
  我々は、ミス・コントラクタリー条件(PMC)に関する問題というベンチマークを開発する。 本稿では,これらのシナリオにおける数ショットプロンプト手法の性能を評価するための2つの新しい指標を提案する。 SMT-LIB Prompting (SLP) と呼ばれる,SMT-LIB言語を用いて直接解決する代わりに,この問題をモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:24:12Z)
• Towards Faithful Explanations: Boosting Rationalization with Shortcuts Discovery [12.608345627859322]
  本稿では,潜在的ショートカットの発見と活用により合理化を促進するショートカット融合選択合理化法を提案する。 具体的には、SSRはいくつかの潜在的なショートカットを検出するショートカット発見アプローチを最初に設計した。 そして,同定されたショートカットを導入することで,合理性を構成するためにショートカットを利用する問題を緩和する2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:24:17Z)
• Prompt-Guided Retrieval Augmentation for Non-Knowledge-Intensive Tasks [11.197027472291905]
  PGRAと呼ばれるNKIタスクのための2段階のフレームワークを提案する。 第1段階ではタスク非依存のレトリバーを採用し、共有静的インデックスを構築し、効率的な候補証拠を選択する。 第2段階では、読者のタスク固有の関連性に応じて、最も近いエビデンスをリランクするプロンプト誘導型リランカを設計する。
  論文  参考訳（メタデータ） (2023-05-28T07:27:12Z)
• Large Language Models Can be Lazy Learners: Analyze Shortcuts in In-Context Learning [28.162661418161466]
  大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。 本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。 より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
  論文  参考訳（メタデータ） (2023-05-26T20:56:30Z)
• Parsing Objects at a Finer Granularity: A Survey [54.72819146263311]
  微細な視覚解析は、農業、リモートセンシング、宇宙技術など、多くの現実世界の応用において重要である。 卓越した研究努力は、異なるパラダイムに従って、これらのきめ細かいサブタスクに取り組む。 我々は,パート関係を学習する新たな視点から,先進的な研究を深く研究する。
  論文  参考訳（メタデータ） (2022-12-28T04:20:10Z)
• Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
  トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
  論文  参考訳（メタデータ） (2021-06-02T08:43:12Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。