論文の概要: Teaching Transformers Causal Reasoning through Axiomatic Training

• arxiv url: http://arxiv.org/abs/2407.07612v2
• Date: Tue, 15 Apr 2025 08:43:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:08:56.502472
• Title: Teaching Transformers Causal Reasoning through Axiomatic Training
• Title（参考訳）: 軸流訓練による変圧器因果推論の指導
• Authors: Aniket Vashishtha, Abhinav Kumar, Atharva Pandey, Abbavaram Gowtham Reddy, Kabir Ahuja, Vineeth N Balasubramanian, Amit Sharma,
• Abstract要約: 本研究では,因果的公理の象徴的証明から因果的推論をどの程度学べるかを考察する。 重要な疑問は、システムが公理実証からより複雑なシナリオへの一般化を学ぶかどうかである。 多様なテキスト入力を扱うために、同じ手法がファインチューン言語モデルに拡張される。
• 参考スコア（独自算出の注目度）: 33.77073807002369
• License:
• Abstract: For text-based AI systems to interact in the real world, causal reasoning is an essential skill. Since active interventions are costly, we study to what extent a system can learn causal reasoning from symbolic demonstrations of causal axioms. Specifically, we present an axiomatic training method where the system learns from multiple demonstrations of a causal axiom (or rule), rather than incorporating the axiom as an inductive bias or inferring it from data values. A key question is whether the system would learn to generalize from the axiom demonstrations to more complex scenarios. Our results, based on applying axiomatic training to learn the transitivity axiom and d-separation rule, indicate that such generalization is possible. To avoid data contamination issues, we start with a 67 million parameter transformer model and train it from scratch. On both tasks, we find that a model trained on linear causal chains (along with some noisy variations) can generalize well to complex graphs, including longer causal chains, causal chains with reversed order, and graphs with branching.To handle diverse text inputs, the same method is extended to finetune language models. Finetuning Llama-3.1 8B model on our axiomatic data leads to significant gains on causal benchmarks such as Corr2Cause and CLEAR, in some cases providing state-of-the-art performance surpassing GPT-4.
• Abstract（参考訳）: テキストベースのAIシステムが現実世界で対話するためには、因果推論が必須のスキルである。 能動的介入は費用がかかるため,因果公理の象徴的証明から因果推論をどの程度学べるかを考察する。 具体的には、帰納的バイアスとして公理を組み込んだり、データ値から推測したりするのではなく、因果公理(または規則)の複数の実演からシステムが学習する公理的訓練法を提案する。 重要な疑問は、システムが公理実証からより複雑なシナリオへの一般化を学ぶかどうかである。 本結果は,移動度公理とd-分離則の学習に公理的学習を適用することで,そのような一般化が可能であることを示唆している。 データ汚染を避けるため、6700万のパラメータ変換器モデルから始め、スクラッチからトレーニングする。 いずれのタスクにおいても,線形因果連鎖を訓練したモデル(いくつかのノイズ変動を伴う)は,長い因果連鎖,逆順の因果連鎖,分岐を持つグラフなど複雑なグラフによく一般化でき,多種多様なテキスト入力を処理するために,同じ手法を細粒度言語モデルに拡張する。 我々の公理データに基づくLlama-3.1 8Bモデルを微調整すると、Corr2CauseやCLEARのような因果ベンチマークが大幅に向上する。

関連論文リスト

• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
  本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
  グラフ上での対実的説明生成の問題について検討する。 グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。 本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
  論文  参考訳（メタデータ） (2022-10-16T04:35:32Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)
• Do-calculus enables causal reasoning with latent variable models [2.294014185517203]
  潜在変数モデル(LVM)は、トレーニング中に変数の一部が隠蔽される確率モデルである。 因果推論は,確率的モデリングコミュニティで長年確立されてきた幅広いlvmのクラスを拡張できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T17:12:53Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。