Fugu-MT 論文翻訳(概要): Equivariant neural networks for recovery of Hadamard matrices

論文の概要: Equivariant neural networks for recovery of Hadamard matrices

arxiv url: http://arxiv.org/abs/2201.13157v1
Date: Mon, 31 Jan 2022 12:07:07 GMT
ステータス: 処理完了
システム内更新日: 2022-02-01 18:23:10.803748
Title: Equivariant neural networks for recovery of Hadamard matrices
Title（参考訳）: ハダマール行列の回復のための等変ニューラルネットワーク
Authors: Augusto Peres, Eduardo Dias, Lu\'is Sarmento, Hugo Penedones
Abstract要約: 本稿では,行列の列と行の置換に同値であるように設計されたメッセージパッシングニューラルネットワークアーキテクチャを提案する。マルチレイヤパーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、さらにはトランスフォーマーといった従来のアーキテクチャに対する利点を説明している。
参考スコア（独自算出の注目度）: 0.7742297876120561
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We propose a message passing neural network architecture designed to be equivariant to column and row permutations of a matrix. We illustrate its advantages over traditional architectures like multi-layer perceptrons (MLPs), convolutional neural networks (CNNs) and even Transformers, on the combinatorial optimization task of recovering a set of deleted entries of a Hadamard matrix. We argue that this is a powerful application of the principles of Geometric Deep Learning to fundamental mathematics, and a potential stepping stone toward more insights on the Hadamard conjecture using Machine Learning techniques.
Abstract（参考訳）: 本稿では,行列の列と行の置換に等価なメッセージパッシングニューラルネットワークアーキテクチャを提案する。我々は,多層パーセプトロン(mlps),畳み込みニューラルネットワーク(cnns),トランスフォーマー(transformers)といった従来のアーキテクチャに対するアドバンテージを,アダマール行列の削除されたエントリの集合を復元する組合せ最適化タスクで示す。これは幾何学的深層学習の原理の基本的な数学への強力な応用であり、機械学習技術を用いたハダマール予想のさらなる洞察への足がかりである。

関連論文リスト

Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks [5.851101657703105]
ニューラルネットワークにおけるガウスニュートン行列(GN)の条件付けを理論的に特徴付けるための第一歩を踏み出す。我々は、任意の深さと幅の深い線形ネットワークにおいて、GNの条件数に厳密な境界を確立する。残りの接続や畳み込み層といったアーキテクチャコンポーネントに分析を拡張します。
論文参考訳（メタデータ） (2024-11-04T14:56:48Z)
Weight Conditioning for Smooth Optimization of Neural Networks [28.243353447978837]
本稿では,ニューラルネットワークの重み行列に対する新しい正規化手法を提案する。このアプローチは、ウェイト行列の最小値と最大の特異値の間のギャップを狭くすることを目的としており、より良い条件付き行列をもたらす。以上の結果から,本手法は競争力だけでなく,文献の既往の重み正規化手法よりも優れていたことが示唆された。
論文参考訳（メタデータ） (2024-09-05T11:10:34Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Implicit Regularization via Spectral Neural Networks and Non-linear Matrix Sensing [2.171120568435925]
スペクトルニューラルネットワーク(SNN)は行列学習問題に特に適している。 SNNアーキテクチャは本質的にバニラニューラルネットよりも理論解析に適していることを示す。我々は、SNNアーキテクチャは、幅広い種類の行列学習シナリオにおいて、幅広い適用性を持つ可能性があると信じている。
論文参考訳（メタデータ） (2024-02-27T15:28:01Z)
Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文参考訳（メタデータ） (2023-05-22T23:38:27Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
論文参考訳（メタデータ） (2022-12-16T18:48:54Z)
Matrix factorization with neural networks [0.0]
連想記憶のニューラルネットワークモデルにマッピングする新しいデシメーション方式を導入する。我々は,デシメーションが広範囲の行列を分解し,効率的にデシメーションすることができることを示した。
論文参考訳（メタデータ） (2022-12-05T08:58:56Z)
A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文参考訳（メタデータ） (2022-11-22T16:30:33Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。