論文の概要: Teaching Transformers Causal Reasoning through Axiomatic Training

• arxiv url: http://arxiv.org/abs/2407.07612v1
• Date: Wed, 10 Jul 2024 12:50:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:41:55.742563
• Title: Teaching Transformers Causal Reasoning through Axiomatic Training
• Title（参考訳）: 軸流訓練による変圧器因果推論の指導
• Authors: Aniket Vashishtha, Abhinav Kumar, Abbavaram Gowtham Reddy, Vineeth N Balasubramanian, Amit Sharma,
• Abstract要約: エージェントが受動的データから因果推論を学べる程度について検討する。 重要な疑問は、エージェントが公理実証から新しいシナリオへの一般化を学ぶかどうかである。 6700万のパラメータ変換モデルが線形因果連鎖で訓練された場合、新しい種類のグラフに対してうまく一般化できることがわかった。
• 参考スコア（独自算出の注目度）: 34.040996887499425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For text-based AI systems to interact in the real world, causal reasoning is an essential skill. Since interventional data is costly to generate, we study to what extent an agent can learn causal reasoning from passive data. Specifically, we consider an axiomatic training setup where an agent learns from multiple demonstrations of a causal axiom (or rule), rather than incorporating the axiom as an inductive bias or inferring it from data values. A key question is whether the agent would learn to generalize from the axiom demonstrations to new scenarios. For example, if a transformer model is trained on demonstrations of the causal transitivity axiom over small graphs, would it generalize to applying the transitivity axiom over large graphs? Our results, based on a novel axiomatic training scheme, indicate that such generalization is possible. We consider the task of inferring whether a variable causes another variable, given a causal graph structure. We find that a 67 million parameter transformer model, when trained on linear causal chains (along with some noisy variations) can generalize well to new kinds of graphs, including longer causal chains, causal chains with reversed order, and graphs with branching; even when it is not explicitly trained for such settings. Our model performs at par (or even better) than many larger language models such as GPT-4, Gemini Pro, and Phi-3. Overall, our axiomatic training framework provides a new paradigm of learning causal reasoning from passive data that can be used to learn arbitrary axioms, as long as sufficient demonstrations can be generated.
• Abstract（参考訳）: テキストベースのAIシステムが現実世界で対話するためには、因果推論が必須のスキルである。 介入データを生成するのに費用がかかるため、エージェントが受動的データから因果推論をどの程度学べるかを調査する。 具体的には、エージェントが帰納的バイアスとして公理を取り入れたり、データ値から推論したりするのではなく、因果的公理(または規則)の複数の実演から学習する公理的訓練環境を考える。 重要な疑問は、エージェントが公理実証から新しいシナリオへの一般化を学ぶかどうかである。 例えば、変圧器モデルが小さなグラフ上の因果遷移公理のデモンストレーションで訓練された場合、大きなグラフ上の推移公理を適用することに一般化できるだろうか? この結果から,このような一般化が可能であることが示唆された。 因果グラフ構造が与えられた変数が別の変数を引き起こすかどうかを推定するタスクを考える。 線形因果連鎖で訓練された6700万のパラメータトランスフォーマーモデルは、長い因果連鎖、逆順の因果連鎖、分岐を持つグラフなど、新しい種類のグラフにうまく一般化できる。 我々のモデルは、GPT-4、Gemini Pro、Phi-3など、多くの大きな言語モデルと同等(あるいはそれ以上)に動作します。 全体として、我々の公理学習フレームワークは、任意の公理を学ぶのに使える受動的データから因果推論を学ぶための新しいパラダイムを提供する。

関連論文リスト

• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
  本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
  グラフ上での対実的説明生成の問題について検討する。 グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。 本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
  論文  参考訳（メタデータ） (2022-10-16T04:35:32Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)
• Do-calculus enables causal reasoning with latent variable models [2.294014185517203]
  潜在変数モデル(LVM)は、トレーニング中に変数の一部が隠蔽される確率モデルである。 因果推論は,確率的モデリングコミュニティで長年確立されてきた幅広いlvmのクラスを拡張できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T17:12:53Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。