論文の概要: A Compositional Atlas of Tractable Circuit Operations: From Simple
Transformations to Complex Information-Theoretic Queries
- arxiv url: http://arxiv.org/abs/2102.06137v1
- Date: Thu, 11 Feb 2021 17:26:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-12 14:26:48.923728
- Title: A Compositional Atlas of Tractable Circuit Operations: From Simple
Transformations to Complex Information-Theoretic Queries
- Title(参考訳): トラクタブル回路動作の構成アトラス:単純な変換から複雑な情報理論クエリへ
- Authors: Antonio Vergari, YooJung Choi, Anji Liu, Stefano Teso, Guy Van den
Broeck
- Abstract要約: 本稿では,回路上のモジュラー操作において,機械学習の複雑な推論シナリオがいかに表現できるかを示す。
文献におけるいくつかの結果を一般化し,新たな抽出可能な推論シナリオを開放する,抽出可能なモデルについて推論するための統一的な枠組みを導出する。
- 参考スコア(独自算出の注目度): 44.36335714431731
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Circuit representations are becoming the lingua franca to express and reason
about tractable generative and discriminative models. In this paper, we show
how complex inference scenarios for these models that commonly arise in machine
learning -- from computing the expectations of decision tree ensembles to
information-theoretic divergences of deep mixture models -- can be represented
in terms of tractable modular operations over circuits. Specifically, we
characterize the tractability of a vocabulary of simple transformations --
sums, products, quotients, powers, logarithms, and exponentials -- in terms of
sufficient structural constraints of the circuits they operate on, and present
novel hardness results for the cases in which these properties are not
satisfied. Building on these operations, we derive a unified framework for
reasoning about tractable models that generalizes several results in the
literature and opens up novel tractable inference scenarios.
- Abstract(参考訳): 回路表現は、扱いやすい生成モデルや識別モデルを表現するための言語フランカになりつつある。
本稿では、機械学習で一般的に発生するこれらのモデルの複雑な推論シナリオについて、決定木アンサンブルの期待の計算から深層混合モデルの情報理論の分岐まで、回路上のトラクタブルモジュラー操作の観点で表すことができるかを示す。
具体的には、単純な変換の語彙 --sums, product, quotients, powers, logarithms, and exponentials -- の扱いやすさを、それらが操作する回路の十分な構造的制約の観点から特徴付け、これらの特性が満たされない場合に新たなハードネス結果を与える。
これらの操作に基づいて、我々は文献でいくつかの結果を一般化し、新しいトラクタブル推論シナリオを開くトラクタブルモデルに関する推論のための統一されたフレームワークを導出する。
関連論文リスト
- Structured World Representations in Maze-Solving Transformers [3.75591091941815]
この研究は、小さなトランスモデルによって形成された抽象化に焦点を当てている。
迷路位相と有効経路の構造的内部表現が一貫した出現を示す証拠を見出した。
また,注目ヘッドの同定により経路追従回路の解読を行う。
論文 参考訳(メタデータ) (2023-12-05T08:24:26Z) - Uncovering Intermediate Variables in Transformers using Circuit Probing [32.382094867951224]
本稿では,仮説化中間変数を演算する低レベル回路を自動的に発見する回路探索手法を提案する。
本手法は,(1)モデルが学習したアルゴリズムの解読,(2)モデル内のモジュラ構造を明らかにすること,(3)学習中の回路の発達を追跡することなどにおいて,単純な算術課題で訓練されたモデルに適用する。
論文 参考訳(メタデータ) (2023-11-07T21:27:17Z) - Interpreting Shared Circuits for Ordered Sequence Prediction in a Large
Language Model [2.44755919161855]
この研究は、トランスフォーマーモデルを回路と呼ばれる人間可読表現にリバースエンジニアリングすることを目的としている。
我々は、シーケンスメンバーの検出と、シーケンス内の次のメンバの予測に責任があるキーサブ回路を同定する。
解析の結果、意味的関連配列は類似した役割を持つ共有回路サブグラフに依存していることが明らかとなった。
論文 参考訳(メタデータ) (2023-11-07T16:58:51Z) - Tractable Bounding of Counterfactual Queries by Knowledge Compilation [51.47174989680976]
本稿では, パール構造因果モデルにおいて, 因果関係などの部分的特定可能なクエリのバウンダリングの問題について議論する。
最近提案された反復EMスキームは初期化パラメータをサンプリングしてそれらの境界を内部近似する。
シンボルパラメータを実際の値に置き換えた回路構造を,単一のシンボル知識コンパイルによって得られることを示す。
論文 参考訳(メタデータ) (2023-10-05T07:10:40Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z) - A Symbolic Framework for Systematic Evaluation of Mathematical Reasoning
with Transformers [14.76726115772225]
我々は、複雑な数学的導出を生成するためのデータ生成法を考案し、構文、構造、意味論に関してそれらを体系的に摂動する。
次に、次の方程式予測に関する一般的な実験フレームワークをインスタンス化し、体系的な数学的推論とトランスフォーマーエンコーダの一般化を合計200Kの例で評価する。
実験の結果、摂動がパフォーマンスに大きく影響し、F1スコアが97%$から17%$以下に減少することが明らかとなり、推論は数学的作用素の深い理解とは無関係な表面レベルのパターンに支配されていることが示唆された。
論文 参考訳(メタデータ) (2023-05-21T20:40:37Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳(メタデータ) (2022-06-09T16:24:01Z) - Transformer Grammars: Augmenting Transformer Language Models with
Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。
また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文 参考訳(メタデータ) (2022-03-01T17:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。