論文の概要: On the Paradox of Learning to Reason from Data
- arxiv url: http://arxiv.org/abs/2205.11502v2
- Date: Tue, 24 May 2022 20:56:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 12:03:05.637130
- Title: On the Paradox of Learning to Reason from Data
- Title(参考訳): データから推論する学習のパラドックスについて
- Authors: Honghua Zhang, Liunian Harold Li, Tao Meng, Kai-Wei Chang, Guy Van den
Broeck
- Abstract要約: BERTは,同じ問題空間上での他のデータ分布への一般化に失敗しながら,分布内テスト例に対してほぼ完全な精度が得られることを示す。
このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。
- 参考スコア(独自算出の注目度): 86.13662838603761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logical reasoning is needed in a wide range of NLP tasks. Can a BERT model be
trained end-to-end to solve logical reasoning problems presented in natural
language? We attempt to answer this question in a confined problem space where
there exists a set of parameters that perfectly simulates logical reasoning. We
make observations that seem to contradict each other: BERT attains near-perfect
accuracy on in-distribution test examples while failing to generalize to other
data distributions over the exact same problem space. Our study provides an
explanation for this paradox: instead of learning to emulate the correct
reasoning function, BERT has in fact learned statistical features that
inherently exist in logical reasoning problems. We also show that it is
infeasible to jointly remove statistical features from data, illustrating the
difficulty of learning to reason in general. Our result naturally extends to
other neural models and unveils the fundamental difference between learning to
reason and learning to achieve high performance on NLP benchmarks using
statistical features.
- Abstract(参考訳): 論理的推論は幅広いNLPタスクで必要とされる。
自然言語で提示される論理的推論問題を解くためにBERTモデルをエンドツーエンドで訓練することは可能か?
論理的推論を完全にシミュレートするパラメータの集合が存在するような狭い問題空間において、この問題に答えようとする。
BERTは、全く同じ問題空間上の他のデータ分布に一般化するのに失敗しながら、流通中の試験例でほぼ完全な精度を達成します。
このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。
また,データから統計的特徴を共同で取り除くことは不可能であり,理性一般への学習の難しさを示す。
その結果、自然に他のニューラルモデルに拡張され、統計的特徴を用いたnlpベンチマークで高いパフォーマンスを達成するための推論と学習の基本的な違いが明らかにされる。
関連論文リスト
- Inference of Abstraction for a Unified Account of Reasoning and Learning [0.0]
我々は、推論と学習の統一的な説明のために、単純な確率的推論の理論を与える。
我々は、形式論理におけるその満足度の観点から、データがどのように象徴的な知識を引き起こすかをモデル化する。
論文 参考訳(メタデータ) (2024-02-14T09:43:35Z) - Understanding the Reasoning Ability of Language Models From the
Perspective of Reasoning Paths Aggregation [117.32019595678771]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。
我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。
複数のKGおよびMWPデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文 参考訳(メタデータ) (2024-02-05T18:25:51Z) - Self-Compatibility: Evaluating Causal Discovery without Ground Truth [0.0]
本研究では,基底真理が存在しない場合に因果発見アルゴリズムの出力をfalsificationする新しい手法を提案する。
我々の重要な洞察は、統計的学習がデータポイントのサブセット間の安定性を求める一方で、因果学習は変数のサブセット間の安定性を求めるべきであるということである。
本研究では,不整合性の検出が,仮定や誤差が有限なサンプル効果によって誤って因果関係を推定することを証明する。
論文 参考訳(メタデータ) (2023-07-18T18:59:42Z) - A Simple Generative Model of Logical Reasoning and Statistical Learning [0.6853165736531939]
統計的学習と論理的推論は、AIの2つの主要な分野であり、人間のようなマシンインテリジェンスに統一されることが期待されている。
本稿では、論理的推論と統計的学習の単純なベイズモデルを提案する。
我々は、形式論理におけるその満足度の観点から、データがどのように象徴的知識を引き起こすかをモデル化する。
論文 参考訳(メタデータ) (2023-05-18T16:34:51Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳(メタデータ) (2021-04-17T21:34:10Z) - Logic of Machine Learning [0.0]
私は、予測には根底にある依存の「予測可能性」を信じる必要があると提案する。
私は、人気のある教科書学習者の例を挙げ、それぞれが自身の不整合を最小化していることを示す。
論文 参考訳(メタデータ) (2020-06-16T20:25:41Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳(メタデータ) (2020-06-11T17:02:20Z) - Logic-Guided Data Augmentation and Regularization for Consistent
Question Answering [55.05667583529711]
本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。
提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
論文 参考訳(メタデータ) (2020-04-21T17:03:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。