論文の概要: The Empirical Impact of Reducing Symmetries on the Performance of Deep Ensembles and MoE

• arxiv url: http://arxiv.org/abs/2502.17391v1
• Date: Mon, 24 Feb 2025 18:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:56:56.063172
• Title: The Empirical Impact of Reducing Symmetries on the Performance of Deep Ensembles and MoE
• Title（参考訳）: ディープアンサンブルとMoEの性能に及ぼす対称性低減の実証的影響
• Authors: Andrei Chernov, Oleg Novitskij,
• Abstract要約: 深層アンサンブルとMixture of Experts(MoE)の性能に及ぼす対称性の低減の影響について検討する。 その結果、非対称ニューラルネットワーク上に構築されたディープアンサンブルは、アンサンブルサイズが大きくなるにつれて大幅に性能が向上することがわかった。 この実験では, 対称性の低下がMoEアーキテクチャとMoIEアーキテクチャの両方に影響を及ぼすかどうか, 決定的な証拠は得られない。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent studies have shown that reducing symmetries in neural networks enhances linear mode connectivity between networks without requiring parameter space alignment, leading to improved performance in linearly interpolated neural networks. However, in practical applications, neural network interpolation is rarely used; instead, ensembles of networks are more common. In this paper, we empirically investigate the impact of reducing symmetries on the performance of deep ensembles and Mixture of Experts (MoE) across five datasets. Additionally, to explore deeper linear mode connectivity, we introduce the Mixture of Interpolated Experts (MoIE). Our results show that deep ensembles built on asymmetric neural networks achieve significantly better performance as ensemble size increases compared to their symmetric counterparts. In contrast, our experiments do not provide conclusive evidence on whether reducing symmetries affects both MoE and MoIE architectures.
• Abstract（参考訳）: 近年の研究では、ニューラルネットワークにおける対称性の低減は、パラメータ空間アライメントを必要とせずに、ネットワーク間の線形モード接続を向上させることが示されており、線形補間ニューラルネットワークの性能向上につながっている。 しかし、実際的な応用では、ニューラルネットワークの補間はほとんど使われず、代わりにネットワークのアンサンブルの方が一般的である。 本稿では,5つのデータセットにまたがる深層アンサンブルとMixture of Experts(MoE)の性能に及ぼす対称性の低減の影響を実証的に検討する。 さらに、より深い線形モード接続性を探るため、補間エキスパートの混合(MoIE)を紹介する。 その結果,非対称ニューラルネットワーク上に構築された深層アンサンブルは,非対称ニューラルネットワークに比べてアンサンブルサイズが大きくなるにつれて性能が著しく向上することがわかった。 対照的に、我々の実験は、対称性の減少がMoEアーキテクチャとMoIEアーキテクチャの両方に影響を及ぼすかどうかという決定的な証拠を提供していない。

関連論文リスト

• Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
  多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。 データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。 本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-25T04:29:04Z)
• Black Boxes and Looking Glasses: Multilevel Symmetries, Reflection Planes, and Convex Optimization in Deep Networks [46.337104465755075]
  絶対値アクティベーションと任意の入力次元を持つディープニューラルネットワーク(DNN)のトレーニングは,等価凸ラッソ問題として定式化可能であることを示す。 この定式化は、ニューラルネットワークの対称性をコードする幾何学的構造を明らかにする。
  論文  参考訳（メタデータ） (2024-10-05T20:09:07Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
  シームズネットワークは、2つの並列エンコーダと概念的に対称である。 ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。 非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
  論文  参考訳（メタデータ） (2022-04-01T17:57:24Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
  ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。 本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。 数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。 また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
  論文  参考訳（メタデータ） (2021-06-07T16:07:15Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。