論文の概要: On the Paradox of Learning to Reason from Data

• arxiv url: http://arxiv.org/abs/2205.11502v2
• Date: Tue, 24 May 2022 20:56:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 12:03:05.637130
• Title: On the Paradox of Learning to Reason from Data
• Title（参考訳）: データから推論する学習のパラドックスについて
• Authors: Honghua Zhang, Liunian Harold Li, Tao Meng, Kai-Wei Chang, Guy Van den Broeck
• Abstract要約: BERTは,同じ問題空間上での他のデータ分布への一般化に失敗しながら,分布内テスト例に対してほぼ完全な精度が得られることを示す。 このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。
• 参考スコア（独自算出の注目度）: 86.13662838603761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logical reasoning is needed in a wide range of NLP tasks. Can a BERT model be trained end-to-end to solve logical reasoning problems presented in natural language? We attempt to answer this question in a confined problem space where there exists a set of parameters that perfectly simulates logical reasoning. We make observations that seem to contradict each other: BERT attains near-perfect accuracy on in-distribution test examples while failing to generalize to other data distributions over the exact same problem space. Our study provides an explanation for this paradox: instead of learning to emulate the correct reasoning function, BERT has in fact learned statistical features that inherently exist in logical reasoning problems. We also show that it is infeasible to jointly remove statistical features from data, illustrating the difficulty of learning to reason in general. Our result naturally extends to other neural models and unveils the fundamental difference between learning to reason and learning to achieve high performance on NLP benchmarks using statistical features.
• Abstract（参考訳）: 論理的推論は幅広いNLPタスクで必要とされる。 自然言語で提示される論理的推論問題を解くためにBERTモデルをエンドツーエンドで訓練することは可能か? 論理的推論を完全にシミュレートするパラメータの集合が存在するような狭い問題空間において、この問題に答えようとする。 BERTは、全く同じ問題空間上の他のデータ分布に一般化するのに失敗しながら、流通中の試験例でほぼ完全な精度を達成します。 このパラドックスは、正しい推論関数をエミュレートする学習ではなく、論理的推論問題に本質的に存在する統計的特徴を実際に学習している。 また,データから統計的特徴を共同で取り除くことは不可能であり,理性一般への学習の難しさを示す。 その結果、自然に他のニューラルモデルに拡張され、統計的特徴を用いたnlpベンチマークで高いパフォーマンスを達成するための推論と学習の基本的な違いが明らかにされる。

関連論文リスト

• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• NL2FOL: Translating Natural Language to First-Order Logic for Logical Fallacy Detection [45.28949266878263]
  本研究では,自然言語を一階論理に変換することによって,論理的誤りを確実に検出する手法を設計する。 次に、満足度モデュロ理論(SMT)を用いて、式の有効性を推論する。 私たちのアプローチは堅牢で解釈可能で、トレーニングデータや微調整は必要ありません。
  論文  参考訳（メタデータ） (2024-04-18T00:20:48Z)
• Inference of Abstraction for a Unified Account of Reasoning and Learning [0.0]
  我々は、推論と学習の統一的な説明のために、単純な確率的推論の理論を与える。 我々は、形式論理におけるその満足度の観点から、データがどのように象徴的な知識を引き起こすかをモデル化する。
  論文  参考訳（メタデータ） (2024-02-14T09:43:35Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Self-Compatibility: Evaluating Causal Discovery without Ground Truth [28.72650348646176]
  本研究では,基底真理が存在しない場合に因果発見アルゴリズムの出力をfalsificationする新しい手法を提案する。 我々の重要な洞察は、統計的学習がデータポイントのサブセット間の安定性を求める一方で、因果学習は変数のサブセット間の安定性を求めるべきであるということである。 本研究では,不整合性の検出が,仮定や誤差が有限なサンプル効果によって誤って因果関係を推定することを証明する。
  論文  参考訳（メタデータ） (2023-07-18T18:59:42Z)
• A Simple Generative Model of Logical Reasoning and Statistical Learning [0.6853165736531939]
  統計的学習と論理的推論は、AIの2つの主要な分野であり、人間のようなマシンインテリジェンスに統一されることが期待されている。 本稿では、論理的推論と統計的学習の単純なベイズモデルを提案する。 我々は、形式論理におけるその満足度の観点から、データがどのように象徴的知識を引き起こすかをモデル化する。
  論文  参考訳（メタデータ） (2023-05-18T16:34:51Z)
• Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
  我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。 アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。 本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2022-05-27T17:28:54Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Logic-Guided Data Augmentation and Regularization for Consistent Question Answering [55.05667583529711]
  本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。 提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2020-04-21T17:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。