論文の概要: Abelian Neural Networks
- arxiv url: http://arxiv.org/abs/2102.12232v1
- Date: Wed, 24 Feb 2021 11:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 13:24:00.046504
- Title: Abelian Neural Networks
- Title（参考訳）: アーベルニューラルネットワーク
- Authors: Kenshin Abe and Takanori Maehara and Issei Sato
- Abstract要約: まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。
連想対称の特徴づけを用いて、アベリア半群演算に拡張する。
固定単語埋め込み上でモデルをトレーニングし、元の word2vec よりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 48.52497085313911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of modeling a binary operation that satisfies some
algebraic requirements. We first construct a neural network architecture for
Abelian group operations and derive a universal approximation property. Then,
we extend it to Abelian semigroup operations using the characterization of
associative symmetric polynomials. Both models take advantage of the analytic
invertibility of invertible neural networks. For each case, by repeating the
binary operations, we can represent a function for multiset input thanks to the
algebraic structure. Naturally, our multiset architecture has
size-generalization ability, which has not been obtained in existing methods.
Further, we present modeling the Abelian group operation itself is useful in a
word analogy task. We train our models over fixed word embeddings and
demonstrate improved performance over the original word2vec and another naive
learning method.
- Abstract（参考訳）: 代数的要求を満たす二元演算をモデル化する問題について検討する。
まず、アベリア群演算のためのニューラルネットワークアーキテクチャを構築し、普遍近似特性を導出する。
次に、連想対称多項式の特性を用いて、アベリア半群演算に拡張する。
どちらのモデルも、可逆ニューラルネットワークの解析的可逆性を利用する。
いずれの場合も、二項演算を繰り返すことによって、代数構造のおかげで多重集合入力の関数を表現できる。
当然、我々のマルチセットアーキテクチャは、既存の手法では得られていない大きさの一般化能力を持っている。
さらに,単語類似タスクにおいて,アベリア群演算自体のモデル化が有用であることを示す。
固定単語埋め込み上でモデルをトレーニングし、元のWord2vecと別のナイーブな学習方法よりも優れた性能を示す。
関連論文リスト
- Group and Shuffle: Efficient Structured Orthogonal Parametrization [3.540195249269228]
構造化された行列の新しいクラスを導入し、以前の研究から構造化されたクラスを統一し一般化する。
我々は,テキスト・画像拡散モデルの適応や,言語モデルにおける下流タスクの微調整など,異なる領域での手法を実証的に検証する。
論文 参考訳（メタデータ） (2024-06-14T13:29:36Z) - Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。
我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
論文 参考訳（メタデータ） (2023-10-17T16:04:33Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - Equivariant Transduction through Invariant Alignment [71.45263447328374]
グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。
我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。
また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-22T11:19:45Z) - Bispectral Neural Networks [1.0323063834827415]
ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。
BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
論文 参考訳（メタデータ） (2022-09-07T18:34:48Z) - Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。
主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。
2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
論文 参考訳（メタデータ） (2021-07-14T07:23:46Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳（メタデータ） (2020-10-22T09:10:16Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。