Fugu-MT 論文翻訳(概要): Ensemble Mask Networks

論文の概要: Ensemble Mask Networks

arxiv url: http://arxiv.org/abs/2309.06382v2
Date: Mon, 9 Oct 2023 15:24:11 GMT
ステータス: 処理完了
システム内更新日: 2023-10-13 04:12:04.330703
Title: Ensemble Mask Networks
Title（参考訳）: マスクネットワークのアンサンブル
Authors: Jonny Luntzel
Abstract要約: mathbbRnrightarrow mathbbRn$ Feedforward Networkは行列ベクトル乗算を学習できるか? 本研究では,行列入力を行うフレキシブルマスクと,マスクの依存構造を尊重する独自のネットワークプルーニングという2つのメカニズムを紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Can an $\mathbb{R}^n\rightarrow \mathbb{R}^n$ feedforward network learn matrix-vector multiplication? This study introduces two mechanisms - flexible masking to take matrix inputs, and a unique network pruning to respect the mask's dependency structure. Networks can approximate fixed operations such as matrix-vector multiplication $\phi(A,x) \rightarrow Ax$, motivating the mechanisms introduced with applications towards litmus-testing dependencies or interaction order in graph-based models.
Abstract（参考訳）: $\mathbb{R}^n\rightarrow \mathbb{R}^n$ feedforward network learn matrix-vector multiplication? 本研究では,マトリックス入力を取るためのフレキシブルマスキングと,マスクの依存性構造を尊重するユニークなネットワークプルーニングという2つのメカニズムを導入する。ネットワークは行列ベクトル乗法 $\phi(A,x) \rightarrow Ax$ のような固定演算を近似することができ、リトマステストの依存関係やグラフベースのモデルでの相互作用順序に対する応用によって導入されたメカニズムを動機付ける。

関連論文リスト

NeoNeXt: Novel neural network operator and architecture based on the patch-wise matrix multiplications [0.0]
本稿では,行列パターンを学習し,入力データに対してパッチワイズ行列乗算を行う新しい基礎演算であるNeoCellを提案する。提案手法の主な利点は,(1)im2colのような演算を必要としない単純な実装,(2)計算量が少ないこと(特に大規模行列),(3)アップ/ダウンサンプリングの単純で柔軟な実装である。我々は、ImageNet-1K分類タスクに基づいて、NeoNeXtモデルのファミリーを検証し、競合品質を実現することを示す。
論文参考訳（メタデータ） (2024-03-17T15:51:21Z)
Exploring ordered patterns in the adjacency matrix for improving machine learning on complex networks [0.0]
提案手法は、複素グラフの隣接行列の要素を特定の順序で並べ替えるソートアルゴリズムを用いる。結果のソートされた隣接行列は、特徴抽出と機械学習アルゴリズムの入力として使用され、ネットワークを分類する。
論文参考訳（メタデータ） (2023-01-20T00:01:23Z)
Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
論文参考訳（メタデータ） (2022-12-16T18:48:54Z)
Parameter-Efficient Masking Networks [61.43995077575439]
先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
論文参考訳（メタデータ） (2022-10-13T03:39:03Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
SODAR: Segmenting Objects by DynamicallyAggregating Neighboring Mask Representations [90.8752454643737]
最近の最先端のワンステージインスタンスセグメンテーションモデルSOLOは、入力画像をグリッドに分割し、完全な畳み込みネットワークを備えたグリッドセルオブジェクトマスクを直接予測する。我々は,SOLOが近傍の格子セルの物体に対して類似したマスクを生成するのを観察する。観測されたギャップによってモチベーションを得た学習ベースのアグリゲーション手法を開発し,そのリッチな隣り合う情報を活用してSOLOを改善する。
論文参考訳（メタデータ） (2022-02-15T13:53:03Z)
Deep Two-way Matrix Reordering for Relational Data Analysis [41.60125423028092]
行列の並べ替えは、与えられた行列の行と列をパーミュレートするタスクである。本稿ではニューラルネットモデルを用いた新しい行列並べ替え手法Deep Two-way Matrix Reordering (DeepTMR)を提案する。合成データセットと実用データセットの両方に適用することで,提案されたDeepTMRの有効性を実証する。
論文参考訳（メタデータ） (2021-03-26T01:31:24Z)
Mask Attention Networks: Rethinking and Strengthen Transformer [70.95528238937861]
Transformerは、セルフアテンションネットワーク(SAN)とフィードフォワードネットワーク(FFN)の2つのサブレイヤからなる注目ベースのニューラルネットワークです。
論文参考訳（メタデータ） (2021-03-25T04:07:44Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。我々の手法は収束特性が良く、最先端の結果が得られます。
論文参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。