論文の概要: A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries

• arxiv url: http://arxiv.org/abs/2102.06137v1
• Date: Thu, 11 Feb 2021 17:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-12 14:26:48.923728
• Title: A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries
• Title（参考訳）: トラクタブル回路動作の構成アトラス:単純な変換から複雑な情報理論クエリへ
• Authors: Antonio Vergari, YooJung Choi, Anji Liu, Stefano Teso, Guy Van den Broeck
• Abstract要約: 本稿では,回路上のモジュラー操作において,機械学習の複雑な推論シナリオがいかに表現できるかを示す。 文献におけるいくつかの結果を一般化し,新たな抽出可能な推論シナリオを開放する,抽出可能なモデルについて推論するための統一的な枠組みを導出する。
• 参考スコア（独自算出の注目度）: 44.36335714431731
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Circuit representations are becoming the lingua franca to express and reason about tractable generative and discriminative models. In this paper, we show how complex inference scenarios for these models that commonly arise in machine learning -- from computing the expectations of decision tree ensembles to information-theoretic divergences of deep mixture models -- can be represented in terms of tractable modular operations over circuits. Specifically, we characterize the tractability of a vocabulary of simple transformations -- sums, products, quotients, powers, logarithms, and exponentials -- in terms of sufficient structural constraints of the circuits they operate on, and present novel hardness results for the cases in which these properties are not satisfied. Building on these operations, we derive a unified framework for reasoning about tractable models that generalizes several results in the literature and opens up novel tractable inference scenarios.
• Abstract（参考訳）: 回路表現は、扱いやすい生成モデルや識別モデルを表現するための言語フランカになりつつある。 本稿では、機械学習で一般的に発生するこれらのモデルの複雑な推論シナリオについて、決定木アンサンブルの期待の計算から深層混合モデルの情報理論の分岐まで、回路上のトラクタブルモジュラー操作の観点で表すことができるかを示す。 具体的には、単純な変換の語彙 --sums, product, quotients, powers, logarithms, and exponentials -- の扱いやすさを、それらが操作する回路の十分な構造的制約の観点から特徴付け、これらの特性が満たされない場合に新たなハードネス結果を与える。 これらの操作に基づいて、我々は文献でいくつかの結果を一般化し、新しいトラクタブル推論シナリオを開くトラクタブルモデルに関する推論のための統一されたフレームワークを導出する。

関連論文リスト

• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Circuit Compositions: Exploring Modular Structures in Transformer-Based Language Models [22.89563355840371]
  言語モデル内で10個のモジュール型文字列編集処理を行う回路を同定・比較する。 以上の結果から,機能的に類似した回路は,ノード重なりとクロスタスク忠実度の両方を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-02T11:36:45Z)
• What is the Relationship between Tensor Factorizations and Circuits (and How Can We Exploit it)? [12.53042167016897]
  テンソル化回路アーキテクチャを構築するために,モジュール型 "Lego block" アプローチを導入する。 この接続は、既存のモデルの類似点と相違点を明らかにするだけでなく、包括的なパイプラインの開発を可能にする。
  論文  参考訳（メタデータ） (2024-09-12T11:32:01Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Shape Arithmetic Expressions: Advancing Scientific Discovery Beyond Closed-Form Equations [56.78271181959529]
  GAM(Generalized Additive Models)は、変数とターゲットの間の非線形関係をキャプチャできるが、複雑な特徴相互作用をキャプチャすることはできない。 本稿では,GAMのフレキシブルな形状関数と,数学的表現に見られる複雑な特徴相互作用を融合させる形状表現算術(SHARE)を提案する。 また、標準制約を超えた表現の透明性を保証するSHAREを構築するための一連のルールを設計する。
  論文  参考訳（メタデータ） (2024-04-15T13:44:01Z)
• Structured World Representations in Maze-Solving Transformers [3.75591091941815]
  この研究は、小さなトランスモデルによって形成された抽象化に焦点を当てている。 迷路位相と有効経路の構造的内部表現が一貫した出現を示す証拠を見出した。 また,注目ヘッドの同定により経路追従回路の解読を行う。
  論文  参考訳（メタデータ） (2023-12-05T08:24:26Z)
• Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs [67.043747188954]
  KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。 線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。 2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-23T01:25:29Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。