論文の概要: Causal Abstractions of Neural Networks

• arxiv url: http://arxiv.org/abs/2106.02997v1
• Date: Sun, 6 Jun 2021 01:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-13 23:10:02.455276
• Title: Causal Abstractions of Neural Networks
• Title（参考訳）: ニューラルネットワークの因果的抽象化
• Authors: Atticus Geiger, Hanson Lu, Thomas Icard, Christopher Potts
• Abstract要約: 本稿では,テキストの抽象の形式的理論に基づく新しい構造解析手法を提案する。 本稿では,Multiply Quantified Natural Language Inference (MQNLI) コーパスで学習したニューラルネットワークの解析に本手法を適用した。
• 参考スコア（独自算出の注目度）: 9.291492712301569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structural analysis methods (e.g., probing and feature attribution) are increasingly important tools for neural network analysis. We propose a new structural analysis method grounded in a formal theory of \textit{causal abstraction} that provides rich characterizations of model-internal representations and their roles in input/output behavior. In this method, neural representations are aligned with variables in interpretable causal models, and then \textit{interchange interventions} are used to experimentally verify that the neural representations have the causal properties of their aligned variables. We apply this method in a case study to analyze neural models trained on Multiply Quantified Natural Language Inference (MQNLI) corpus, a highly complex NLI dataset that was constructed with a tree-structured natural logic causal model. We discover that a BERT-based model with state-of-the-art performance successfully realizes the approximate causal structure of the natural logic causal model, whereas a simpler baseline model fails to show any such structure, demonstrating that neural representations encode the compositional structure of MQNLI examples.
• Abstract（参考訳）: 構造分析手法(例えば、探索と特徴帰属)は、ニューラルネットワーク分析にとってますます重要なツールである。 本稿では,モデル-内部表現とその入出力行動における役割のリッチなキャラクタリゼーションを提供する, \textit{causal abstraction} の形式理論に基づく新しい構造解析手法を提案する。 この方法では、ニューラル表現は解釈可能な因果モデルにおける変数と整列し、その後、ニューラル表現がそれらの整列した変数の因果特性を持つかどうかを実験的に検証する。 本手法を,木構造自然論理因果モデルを用いて構築した高度に複雑なnliデータセットであるmqnli(multiply quantified natural language inference)コーパスで学習したニューラルネットワークの解析に応用する。 本研究では,最先端性能を持つBERTモデルにおいて,自然論理因果モデルの近似因果構造の実現に成功しているのに対し,より単純なベースラインモデルではそのような構造を示さず,ニューラル表現がMQNLIの例の構成構造を符号化していることを示す。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• Hidden Holes: topological aspects of language models [1.1172147007388977]
  我々は,GPTに基づく大規模言語モデルにおけるトポロジ的構造の発達について,訓練中の深度と時間にわたって検討した。 後者は、すべての自然言語に共通する変化パターンを持つが、合成されたデータがない、よりトポロジ的な複雑さを示すことを示す。
  論文  参考訳（メタデータ） (2024-06-09T14:25:09Z)
• Consistency of Neural Causal Partial Identification [17.503562318576414]
  因果モデル(Causal Models)の最近の進歩は、因果効果の同定と部分的同定が神経生成モデルによって自動的に行われるかを示した。 連続変数とカテゴリー変数の両方を持つ一般設定において、NCMによる部分的識別の整合性を証明する。 結果は、深さと接続性の観点から、基盤となるニューラルネットワークアーキテクチャの設計の影響を強調している。
  論文  参考訳（メタデータ） (2024-05-24T16:12:39Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• A Physics-Guided Neural Operator Learning Approach to Model Biological Tissues from Digital Image Correlation Measurements [3.65211252467094]
  本稿では, 生体組織モデリングにおけるデータ駆動型相関について述べる。これは, 未知の負荷シナリオ下でのデジタル画像相関(DIC)測定に基づいて変位場を予測することを目的としている。 ブタ三尖弁リーフレット上の多軸延伸プロトコルのDIC変位追跡測定から材料データベースを構築した。 材料応答は、負荷から結果の変位場への解演算子としてモデル化され、材料特性はデータから暗黙的に学習され、自然にネットワークパラメータに埋め込まれる。
  論文  参考訳（メタデータ） (2022-04-01T04:56:41Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Exploring End-to-End Differentiable Natural Logic Modeling [21.994060519995855]
  ニューラルネットワークに自然言語を統合する、エンドツーエンドでトレーニングされた差別化可能なモデルについて検討する。 提案モデルでは,モジュールネットワークを用いて自然言語操作をモデル化し,メモリコンポーネントで拡張してコンテキスト情報をモデル化する。
  論文  参考訳（メタデータ） (2020-11-08T18:18:15Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。