論文の概要: Regularizing Towards Permutation Invariance in Recurrent Models
- arxiv url: http://arxiv.org/abs/2010.13055v1
- Date: Sun, 25 Oct 2020 07:46:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 04:21:08.818486
- Title: Regularizing Towards Permutation Invariance in Recurrent Models
- Title（参考訳）: 繰り返しモデルにおける置換不変性への正規化
- Authors: Edo Cohen-Karlik, Avichai Ben David and Amir Globerson
- Abstract要約: 我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。
既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。
提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 26.36835670113303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many machine learning problems the output should not depend on the order
of the input. Such "permutation invariant" functions have been studied
extensively recently. Here we argue that temporal architectures such as RNNs
are highly relevant for such problems, despite the inherent dependence of RNNs
on order. We show that RNNs can be regularized towards permutation invariance,
and that this can result in compact models, as compared to non-recurrent
architectures. We implement this idea via a novel form of stochastic
regularization.
Existing solutions mostly suggest restricting the learning problem to
hypothesis classes which are permutation invariant by design. Our approach of
enforcing permutation invariance via regularization gives rise to models which
are \textit{semi permutation invariant} (e.g. invariant to some permutations
and not to others). We show that our method outperforms other permutation
invariant approaches on synthetic and real world datasets.
- Abstract（参考訳）: 多くの機械学習問題では、出力は入力の順序に依存してはならない。
このような「置換不変」函数は近年広く研究されている。
本稿では,RNNの順序に固有の依存性があるにもかかわらず,RNNのような時間的アーキテクチャはそのような問題に非常に関係している,と論じる。
RNNは変分不変性に対して規則化可能であることを示し、非再帰アーキテクチャと比較してコンパクトなモデルが得られることを示す。
我々はこの概念を確率正規化という新しい形式によって実装する。
既存の解は、主に学習問題を設計によって不変な置換である仮説クラスに制限することを提案している。
正規化による置換不変性を強制する我々のアプローチは、(例えば、ある置換に不変で、他には不変ではない)textit{semi permutation invariant} であるモデルを生み出す。
本手法は合成および実世界のデータセットに対する他の置換不変なアプローチよりも優れることを示す。
関連論文リスト
- Permutation invariant functions: statistical tests, density estimation, and computationally efficient embedding [1.4316259003164373]
置換不変性は機械学習(ML)における複雑な問題を単純化するために利用される最も一般的な対称性の1つである。
本稿では,これらの問題について,いくつかの基本的な問題について考察する。
i) と (iv) のメソッドはソートトリックに基づいており、 (ii) は平均化トリックに基づいている。
論文 参考訳（メタデータ） (2024-03-04T01:49:23Z) - Probabilistic Invariant Learning with Randomized Linear Classifiers [24.485477981244593]
表現的かつ不変だがリソースが少ないランダム性と設計モデルをどのように活用するかを示す。
ランダム化アルゴリズムに着想を得て,Randomized Linears (RLC) と呼ばれる二進分類モデルを提案する。
論文 参考訳（メタデータ） (2023-08-08T17:18:04Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳（メタデータ） (2022-08-03T12:31:31Z) - Low Dimensional Invariant Embeddings for Universal Geometric Learning [6.405957390409045]
本稿では、適切な群作用に不変で、どの軌道を分離するかという、不変量:$D$次元領域上の写像について研究する。
この研究の動機は、同変ニューラルネットワークアーキテクチャの普遍性を証明するために不変量を分離することの有用性にある。
論文 参考訳（メタデータ） (2022-05-05T22:56:19Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Scalable Normalizing Flows for Permutation Invariant Densities [0.0]
有望なアプローチは、連続正規化フローを持つ置換不変密度の族を定義する。
この手法の重要なステップであるトレースの計算が、トレーニングと推論の両方で発生する問題を提起する方法を実証する。
我々は、閉じた形跡を与える置換同変変換を定義する別の方法を提案する。
論文 参考訳（メタデータ） (2020-10-07T07:51:30Z) - Permutation Invariant Graph Generation via Score-Based Generative
Modeling [114.12935776726606]
本稿では,最近のスコアベース生成モデルを用いて,グラフモデリングにおける置換不変手法を提案する。
特に、入力グラフにおけるデータ分布の勾配をモデル化するために、置換同変のマルチチャネルグラフニューラルネットワークを設計する。
グラフ生成では、我々の学習アプローチはベンチマークデータセット上の既存のモデルよりも良い、あるいは同等の結果を得る。
論文 参考訳（メタデータ） (2020-03-02T03:06:14Z) - A Permutation-Equivariant Neural Network Architecture For Auction Design [49.41561446069114]
期待収益を最大化するインセンティブ互換オークションの設計は、オークションデザインの中心的な問題である。
本研究では、置換同変対称性を有するオークション設計問題を考察し、置換同変最適機構を完全に回復できるニューラルネットワークを構築する。
論文 参考訳（メタデータ） (2020-03-02T00:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。