論文の概要: Arithmetic Circuits, Structured Matrices and (not so) Deep Learning

• arxiv url: http://arxiv.org/abs/2206.12490v1
• Date: Fri, 24 Jun 2022 21:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 16:38:07.214302
• Title: Arithmetic Circuits, Structured Matrices and (not so) Deep Learning
• Title（参考訳）: 算術回路、構造化行列および(そうでない)ディープラーニング
• Authors: Atri Rudra
• Abstract要約: このサーベイは、算術回路の複雑さで開発されたツールがどのようにして構造化行列の新しいファミリーを設計したかについて読むことができる複雑性理論家を対象としている。 しかし、ディープラーニングに関心のある人は、複雑性理論との関係も理解してもらえることを願っている。
• 参考スコア（独自算出の注目度）: 4.363182185592001
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This survey presents a necessarily incomplete (and biased) overview of results at the intersection of arithmetic circuit complexity, structured matrices and deep learning. Recently there has been some research activity in replacing unstructured weight matrices in neural networks by structured ones (with the aim of reducing the size of the corresponding deep learning models). Most of this work has been experimental and in this survey, we formalize the research question and show how a recent work that combines arithmetic circuit complexity, structured matrices and deep learning essentially answers this question. This survey is targeted at complexity theorists who might enjoy reading about how tools developed in arithmetic circuit complexity helped design (to the best of our knowledge) a new family of structured matrices, which in turn seem well-suited for applications in deep learning. However, we hope that folks primarily interested in deep learning would also appreciate the connections to complexity theory.
• Abstract（参考訳）: 本調査は,演算回路の複雑性,構造化行列,深層学習の交点における結果の,必然的に不完全かつ偏りのある概観を示す。 近年、ニューラルネットワークの非構造化重み行列を構造化行列に置き換える研究が活発になっている(対応するディープラーニングモデルのサイズを減らすことを目的として)。 この研究の大部分は実験的であり、本調査では、計算回路の複雑さ、構造化行列、深層学習を組み合わせた最近の研究がこの疑問にどのように答えているかを示す。 この調査は、計算回路複雑性で開発されたツールが(我々の知識の最良の部分に対して)新しい構造化行列群をどのように設計したかを読むことを楽しむ複雑性理論家を対象としている。 しかし、ディープラーニングに関心がある人は、複雑性理論との関係も理解してもらいたい。

関連論文リスト

• A Survey on Computational Solutions for Reconstructing Complete Objects by Reassembling Their Fractured Parts [25.59032022422813]
  完全な対象をその部分から再構成することは、多くの科学領域における根本的な問題である。 この文脈で既存のアルゴリズムを提供し、それらの類似点と汎用アプローチとの相違点を強調する。 アルゴリズムに加えて、この調査では既存のデータセット、オープンソースソフトウェアパッケージ、アプリケーションについても記述する。
  論文  参考訳（メタデータ） (2024-10-18T17:53:07Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Grokking Group Multiplication with Cosets [10.255744802963926]
  アルゴリズムタスクは、ニューラルネットワークをエンドツーエンドに解釈するための実りあるテスト場であることが証明されている。 我々は、置換群$S_5$ と $S_6$ の算術を解き明かした一層ネットワークを完全にリバースエンジニアリングする。 我々は、モデル機構のリバースエンジニアリングについて述べ、我々の理論が回路の機能の忠実な記述であることを確認した。
  論文  参考訳（メタデータ） (2023-12-11T18:12:18Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors [58.340159346749964]
  本稿では,証明可能な推論能力を備えた複雑なクエリを用いたエンドツーエンド学習を支援するニューラルシンボリック手法を提案する。 これまでに検討されていない10種類の新しいクエリを含む新しいデータセットを開発する。 提案手法は,新しいデータセットにおいて先行手法を著しく上回り,既存データセットにおける先行手法を同時に上回っている。
  論文  参考訳（メタデータ） (2023-04-14T11:35:35Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Learning Bayesian Networks in the Presence of Structural Side Information [22.734574764075226]
  本研究では,システムに関する構造的側面情報が得られる場合に,変数の集合のベイズネットワーク(BN)を学習する問題について検討する。 そこで我々は,そのような知識を学習プロセスに効率的に組み込むアルゴリズムを開発した。 我々の研究の結果、木幅の有界BNは複雑に学習できることが示されている。
  論文  参考訳（メタデータ） (2021-12-20T22:14:19Z)
• Algebraically-Informed Deep Networks (AIDN): A Deep Learning Approach to Represent Algebraic Structures [0.688204255655161]
  textbfAIDN, textitAlgebraically-Informed Deep Networksを紹介する。 textbfAIDNは、深層ニューラルネットワークで有限表現された任意の代数的オブジェクトを表現するディープラーニングアルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-02T12:43:39Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Structure preserving deep learning [1.2263454117570958]
  深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。 ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。 既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
  論文  参考訳（メタデータ） (2020-06-05T10:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。