論文の概要: What is the Relationship between Tensor Factorizations and Circuits (and How Can We Exploit it)?

• arxiv url: http://arxiv.org/abs/2409.07953v1
• Date: Thu, 12 Sep 2024 11:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 16:48:47.862298
• Title: What is the Relationship between Tensor Factorizations and Circuits (and How Can We Exploit it)?
• Title（参考訳）: テンソル因子化と回路の関係(そしてどのように爆発するか)
• Authors: Lorenzo Loconte, Antonio Mari, Gennaro Gala, Robert Peharz, Cassio de Campos, Erik Quaeghebeur, Gennaro Vessio, Antonio Vergari,
• Abstract要約: テンソル化回路アーキテクチャを構築するために,モジュール型 "Lego block" アプローチを導入する。 この接続は、既存のモデルの類似点と相違点を明らかにするだけでなく、包括的なパイプラインの開発を可能にする。
• 参考スコア（独自算出の注目度）: 12.53042167016897
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper establishes a rigorous connection between circuit representations and tensor factorizations, two seemingly distinct yet fundamentally related areas. By connecting these fields, we highlight a series of opportunities that can benefit both communities. Our work generalizes popular tensor factorizations within the circuit language, and unifies various circuit learning algorithms under a single, generalized hierarchical factorization framework. Specifically, we introduce a modular "Lego block" approach to build tensorized circuit architectures. This, in turn, allows us to systematically construct and explore various circuit and tensor factorization models while maintaining tractability. This connection not only clarifies similarities and differences in existing models, but also enables the development of a comprehensive pipeline for building and optimizing new circuit/tensor factorization architectures. We show the effectiveness of our framework through extensive empirical evaluations, and highlight new research opportunities for tensor factorizations in probabilistic modeling.
• Abstract（参考訳）: 本稿では,回路表現とテンソル因子化の厳密な関係を確立する。 これらのフィールドを接続することで、両方のコミュニティに利益をもたらす一連の機会を強調します。 本研究は,回路言語内でのテンソル分解を一般化し,多種多様な回路学習アルゴリズムを1つの一般化階層的因子化フレームワークで統一する。 具体的には、テンソル化回路アーキテクチャを構築するためのモジュラー "Lego block" アプローチを提案する。 これにより、トラクタビリティを維持しつつ、様々な回路およびテンソルの分解モデルを体系的に構築し、探索することができる。 この接続は、既存のモデルの類似点と相違点を明らかにするだけでなく、新しい回路/テンソル因子化アーキテクチャの構築と最適化のための包括的なパイプラインの開発を可能にする。 本研究では,広範囲な経験的評価を通じてフレームワークの有効性を示すとともに,確率的モデリングにおけるテンソル因子化の新たな研究機会を浮き彫りにする。

関連論文リスト

• Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient [0.49478969093606673]
  特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。 本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
  論文  参考訳（メタデータ） (2024-10-03T20:51:02Z)
• Universal In-Context Approximation By Prompting Fully Recurrent Models [86.61942787684272]
  RNN,LSTM,GRU,Linear RNN,Linear RNN,Line gated Architecturesは,汎用のインコンテキスト近似器として機能することを示す。 完全反復アーキテクチャにコンパイルするLSRLというプログラミング言語を導入する。
  論文  参考訳（メタデータ） (2024-06-03T15:25:13Z)
• From Bricks to Bridges: Product of Invariances to Enhance Latent Space Communication [19.336940758147442]
  異なるニューラルネットワークによって学習された表現は、モデルが同様の誘導バイアスの下で訓練されたときに構造的類似性を隠蔽することが観察されている。 我々は,不変成分の積空間を潜在表現の上に構築し,その表現に不変量の集合を直接組み込む汎用的手法を導入する。 我々は,ゼロショット縫合設定において,一貫した遅延類似性および下流性能向上を観察し,分類および再構成タスクに対するソリューションの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-02T13:55:38Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries [44.36335714431731]
  本稿では,回路上のモジュラー操作において,機械学習の複雑な推論シナリオがいかに表現できるかを示す。 文献におけるいくつかの結果を一般化し,新たな抽出可能な推論シナリオを開放する,抽出可能なモデルについて推論するための統一的な枠組みを導出する。
  論文  参考訳（メタデータ） (2021-02-11T17:26:32Z)
• Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective [18.88255368184596]
  本稿では,潜在空間における様々な基盤構造を持つ生成モデル学習のための新しいフレームワークを提案する。 我々のモデルは、様々なタイプの望まれる構造を反映した意味論的に意味のある潜在因子の集合を学習するための原則化されたアプローチを提供する。
  論文  参考訳（メタデータ） (2020-07-21T06:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。