論文の概要: Equivariant Deep Weight Space Alignment
- arxiv url: http://arxiv.org/abs/2310.13397v3
- Date: Fri, 31 May 2024 13:53:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:31:38.660930
- Title: Equivariant Deep Weight Space Alignment
- Title（参考訳）: 等変深度空間アライメント
- Authors: Aviv Navon, Aviv Shamsian, Ethan Fetaya, Gal Chechik, Nadav Dym, Haggai Maron,
- Abstract要約: 本稿では,ウェイトアライメント問題を解決するための学習を目的とした新しいフレームワークを提案する。
まず、重み調整が2つの基本対称性に一致することを証明し、それからこれらの対称性を尊重する深いアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 54.65847470115314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Permutation symmetries of deep networks make basic operations like model merging and similarity estimation challenging. In many cases, aligning the weights of the networks, i.e., finding optimal permutations between their weights, is necessary. Unfortunately, weight alignment is an NP-hard problem. Prior research has mainly focused on solving relaxed versions of the alignment problem, leading to either time-consuming methods or sub-optimal solutions. To accelerate the alignment process and improve its quality, we propose a novel framework aimed at learning to solve the weight alignment problem, which we name Deep-Align. To that end, we first prove that weight alignment adheres to two fundamental symmetries and then, propose a deep architecture that respects these symmetries. Notably, our framework does not require any labeled data. We provide a theoretical analysis of our approach and evaluate Deep-Align on several types of network architectures and learning setups. Our experimental results indicate that a feed-forward pass with Deep-Align produces better or equivalent alignments compared to those produced by current optimization algorithms. Additionally, our alignments can be used as an effective initialization for other methods, leading to improved solutions with a significant speedup in convergence.
- Abstract（参考訳）: 深層ネットワークの置換対称性は、モデルマージや類似度推定といった基本的な操作を困難にしている。
多くの場合、ネットワークの重み、すなわち、その重み間の最適な置換を見つけることは必要である。
残念ながら、ウェイトアライメントはNPハード問題である。
それまでの研究は主にアライメント問題の緩和版を解くことに集中しており、時間を要する方法や準最適解が導かれる。
本研究では,アライメントプロセスの高速化と品質向上を目的として,Deep-Align というウェイトアライメント問題の解法を目的とした新しいフレームワークを提案する。
この目的のために、まず2つの基本対称性に重み付けが一致することを証明し、これらの対称性を尊重する深いアーキテクチャを提案する。
特に、私たちのフレームワークはラベル付きデータを一切必要としません。
提案手法の理論的解析を行い,様々なタイプのネットワークアーキテクチャと学習環境におけるDeep-Alignの評価を行う。
実験結果から,Deep-Align を用いたフィードフォワードパスは,現在の最適化アルゴリズムと同等のアライメントが得られることがわかった。
さらに、アライメントは他の手法の効果的な初期化として利用することができ、収束の大幅な高速化を伴う改善された解をもたらす。
関連論文リスト
- SPARE: Symmetrized Point-to-Plane Distance for Robust Non-Rigid Registration [76.40993825836222]
本研究では,SPAREを提案する。SPAREは,非剛性登録のための対称化点-平面間距離を用いた新しい定式化である。
提案手法は, 厳密でない登録問題の精度を大幅に向上し, 比較的高い解効率を維持する。
論文 参考訳（メタデータ） (2024-05-30T15:55:04Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-03T18:03:44Z) - Tile Networks: Learning Optimal Geometric Layout for Whole-page
Recommendation [14.951408879079272]
強化学習を用いて全ページ推薦のための構成最適化問題を解くことができることを示す。
提案した textitTile Networks は、適切な位置にアイテムを配置することで、2次元の幾何学的構成を最適化するニューラルネットワークである。
論文 参考訳（メタデータ） (2023-03-03T02:18:55Z) - A Study of Scalarisation Techniques for Multi-Objective QUBO Solving [0.0]
量子および量子に着想を得た最適化アルゴリズムは、学術ベンチマークや実世界の問題に適用した場合に有望な性能を示す。
しかし、QUBOソルバは単目的解法であり、複数の目的による問題の解法をより効率的にするためには、そのような多目的問題を単目的問題に変換する方法を決定する必要がある。
論文 参考訳（メタデータ） (2022-10-20T14:54:37Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Towards Accelerating Training of Batch Normalization: A Manifold
Perspective [19.55158964644964]
バッチ正規化(bn)は、さまざまなディープニューラルネットワークにおいて重要なコンポーネントとなっている。
我々は、bn を持つネットワークのすべての等価重みが同一の要素と見なされる商多様体 emphpsi 多様体を提案する。
我々のアルゴリズムは, 様々な実験環境において, 一貫して優れた性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-01-08T08:53:07Z) - Primal-Dual Sequential Subspace Optimization for Saddle-point Problems [3.9582154141918964]
大規模サドル点問題に対する逐次部分空間最適化手法を提案する。
低次元部分空間における補助的サドル点問題(英語版)を、原始整数双対変数上の一階情報から導かれる方向によって解決する。
実験結果は、一般的な一階法と比較して、かなり良い収束性を示した。
論文 参考訳（メタデータ） (2020-08-20T18:19:19Z) - FedSplit: An algorithmic framework for fast federated optimization [40.42352500741025]
本稿では,分散凸最小化を付加構造で解くアルゴリズムのクラスであるFedSplitを紹介する。
これらの手法は, 中間局所量の不正確な計算に対して, 確実に堅牢であることを示す。
論文 参考訳（メタデータ） (2020-05-11T16:30:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。