論文の概要: Rethink Model Re-Basin and the Linear Mode Connectivity
- arxiv url: http://arxiv.org/abs/2402.05966v1
- Date: Mon, 5 Feb 2024 17:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:23:11.988645
- Title: Rethink Model Re-Basin and the Linear Mode Connectivity
- Title(参考訳): Rethink Model Re-Basinと線形モード接続性
- Authors: Xingyu Qu, Samuel Horvath
- Abstract要約: 十分に広いモデルで、ほとんどのSGD解は同じ盆地に収束することができる。
現在の再ベース戦略は、基盤となるメカニズムの包括的な理解が欠如しているため、有効性に制限されている。
より直接的な分析手法を導入することにより、マッチングアルゴリズムと再正規化プロセスの相互作用を明らかにする。
- 参考スコア(独自算出の注目度): 1.3597551064547502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies suggest that with sufficiently wide models, most SGD solutions
can, up to permutation, converge into the same basin. This phenomenon, known as
the model re-basin regime, has significant implications for model averaging.
However, current re-basin strategies are limited in effectiveness due to a lack
of comprehensive understanding of underlying mechanisms. Addressing this gap,
our work revisits standard practices and uncovers the frequent inadequacies of
existing matching algorithms, which we show can be mitigated through proper
re-normalization. By introducing a more direct analytical approach, we expose
the interaction between matching algorithms and re-normalization processes.
This perspective not only clarifies and refines previous findings but also
facilitates novel insights. For instance, it connects the linear mode
connectivity to pruning, motivating a lightweight yet effective post-pruning
plug-in that can be directly merged with any existing pruning techniques. Our
implementation is available at https://github.com/XingyuQu/rethink-re-basin.
- Abstract(参考訳): 最近の研究は、十分に広いモデルで、ほとんどのSGDソリューションは、置換まで同じ盆地に収束することができることを示唆している。
この現象はモデル・リベース・レギュレーションとして知られ、モデル平均化に重大な影響を及ぼす。
しかしながら、現在の再ベース戦略は、基礎メカニズムの包括的理解が欠如しているため、有効性が制限されている。
このギャップに対処するため、我々の研究は標準のプラクティスを再考し、既存のマッチングアルゴリズムの頻繁な不整合を明らかにする。
より直接的な分析手法を導入することにより、マッチングアルゴリズムと再正規化プロセスの相互作用を明らかにする。
この視点は、以前の発見を明確化し、洗練するだけでなく、新しい洞察を促進する。
例えば、リニアモード接続をプルーニングに接続し、既存のプルーニング技術と直接マージできる軽量で効果的なポストプルーニングプラグインを動機付けている。
私たちの実装はhttps://github.com/xingyuqu/rethink-re-basinで利用可能です。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳(メタデータ) (2022-09-11T10:44:27Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳(メタデータ) (2022-09-07T01:12:11Z) - Self-Supervised Hybrid Inference in State-Space Models [0.0]
我々は、潜在空間における非線形高階マルコフ連鎖を許容する状態空間モデルにおいて近似推論を行う。
生成モデルや監督のパラメータ化を、未破損の観測や真理潜伏状態による追加のパラメータ化に頼ってはいない。
カオスロレンツシステムにおいて,完全教師付きアプローチと比較して競合的な結果を得るとともに,変分推論に基づく手法よりも優れることを示す。
論文 参考訳(メタデータ) (2021-07-28T13:26:14Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳(メタデータ) (2021-05-17T17:22:07Z) - COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。
我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。
従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
論文 参考訳(メタデータ) (2021-02-16T18:50:32Z) - Probabilistic Case-based Reasoning for Open-World Knowledge Graph
Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。
本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。
提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文 参考訳(メタデータ) (2020-10-07T17:48:12Z) - Differentiable Causal Discovery from Interventional Data [141.41931444927184]
本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。
提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
論文 参考訳(メタデータ) (2020-07-03T15:19:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。