論文の概要: Machine Reading, Fast and Slow: When Do Models "Understand" Language?

• arxiv url: http://arxiv.org/abs/2209.07430v1
• Date: Thu, 15 Sep 2022 16:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:47:28.280206
• Title: Machine Reading, Fast and Slow: When Do Models "Understand" Language?
• Title（参考訳）: マシン読み込み、高速かつスロー: いつモデルが"理解できない"言語になるか
• Authors: Sagnik Ray Choudhury, Anna Rogers, Isabelle Augenstein
• Abstract要約: 本稿では,2つの言語スキル(コア参照の解決と比較)に関して,理解モデルを読み取る行動について検討する。 比較のため(コアではない)、より大きなエンコーダに基づくシステムは、より「正しい」情報に依存する傾向にあることがわかった。
• 参考スコア（独自算出の注目度）: 59.897515617661874
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Two of the most fundamental challenges in Natural Language Understanding (NLU) at present are: (a) how to establish whether deep learning-based models score highly on NLU benchmarks for the 'right' reasons; and (b) to understand what those reasons would even be. We investigate the behavior of reading comprehension models with respect to two linguistic 'skills': coreference resolution and comparison. We propose a definition for the reasoning steps expected from a system that would be 'reading slowly', and compare that with the behavior of five models of the BERT family of various sizes, observed through saliency scores and counterfactual explanations. We find that for comparison (but not coreference) the systems based on larger encoders are more likely to rely on the 'right' information, but even they struggle with generalization, suggesting that they still learn specific lexical patterns rather than the general principles of comparison.
• Abstract（参考訳）: 現在、自然言語理解(NLU)における最も基本的な課題は2つある。 (a) 深層学習に基づくモデルが「正しい」理由からNLUベンチマークで高いスコアを得るかどうか、そして b) これらの理由が何であるかを理解すること。 本稿では,2つの言語的「スキル」に関する理解モデルを読み取る行動について検討する。 そこで本研究では,「ゆっくり読む」システムから期待される推論ステップを定義し,サリエンシスコアや反実的説明を通じて観察された,様々なサイズのBERTファミリーの5つのモデルの挙動と比較する。 比較においては、より大きなエンコーダに基づくシステムは「正しい」情報に依存しやすいが、一般化に苦慮しているため、比較の一般的な原則よりも特定の語彙パターンを学習していることが示唆される。

関連論文リスト

• XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
  時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。 伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。 時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
  論文  参考訳（メタデータ） (2024-10-18T05:16:39Z)
• From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models [25.628569338856934]
  私たちは、言語モデルの認知的推論能力を初めて明らかにしました。 認知科学における二重プロセス理論に基づいて、私たちは言語モデルの認知的推論能力を初めて解明する。
  論文  参考訳（メタデータ） (2023-11-12T06:56:21Z)
• STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
  マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。 我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
  論文  参考訳（メタデータ） (2023-02-13T22:34:02Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks [39.39138995087475]
  言語単独で統計的パターンを学習することで、どの程度の人間的な思考を捉えることができるのかを問う。 本ベンチマークは2つの問題解決領域(計画と説明生成)を含み,一般化を必要とするように設計されている。 このベンチマークでは、人間はLSMよりもはるかに堅牢であることが分かりました。
  論文  参考訳（メタデータ） (2022-05-11T18:14:33Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。