論文の概要: Multi-Symmetry Ensembles: Improving Diversity and Generalization via Opposing Symmetries

• arxiv url: http://arxiv.org/abs/2303.02484v2
• Date: Mon, 19 Jun 2023 18:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 03:30:41.688249
• Title: Multi-Symmetry Ensembles: Improving Diversity and Generalization via Opposing Symmetries
• Title（参考訳）: マルチサイメトリアンサンブル:対向対称性による多様性と一般化の改善
• Authors: Charlotte Loh, Seungwook Han, Shivchander Sudalairaj, Rumen Dangovski, Kai Xu, Florian Wenzel, Marin Soljacic, Akash Srivastava
• Abstract要約: 我々は,対称性軸に沿った仮説の多重性を捉えることで,多様なアンサンブルを構築するためのフレームワークであるマルチサイメトリ・アンサンブル(MSE)を提案する。 MSEは、ImageNetのような大規模で多様なデータセットでしばしば必要とされる矛盾する仮説の多重性を効果的にキャプチャする。 その固有の多様性の結果、MSEは分類性能、不確実な定量化、一連の伝達タスクの一般化を改善している。
• 参考スコア（独自算出の注目度）: 14.219011458423363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep ensembles (DE) have been successful in improving model performance by learning diverse members via the stochasticity of random initialization. While recent works have attempted to promote further diversity in DE via hyperparameters or regularizing loss functions, these methods primarily still rely on a stochastic approach to explore the hypothesis space. In this work, we present Multi-Symmetry Ensembles (MSE), a framework for constructing diverse ensembles by capturing the multiplicity of hypotheses along symmetry axes, which explore the hypothesis space beyond stochastic perturbations of model weights and hyperparameters. We leverage recent advances in contrastive representation learning to create models that separately capture opposing hypotheses of invariant and equivariant functional classes and present a simple ensembling approach to efficiently combine appropriate hypotheses for a given task. We show that MSE effectively captures the multiplicity of conflicting hypotheses that is often required in large, diverse datasets like ImageNet. As a result of their inherent diversity, MSE improves classification performance, uncertainty quantification, and generalization across a series of transfer tasks.
• Abstract（参考訳）: 深層アンサンブル(DE)は,ランダム初期化の確率性を通じて,多様なメンバーを学習することで,モデル性能の向上に成功している。 近年の研究では、超パラメータによるdeのさらなる多様性の促進や損失関数の定式化が試みられているが、これらの手法は主に仮説空間を探索するための確率的アプローチに依存している。 本研究では,モデル重みとハイパーパラメータの確率的摂動を超えた仮説空間を探索し,対称性軸に沿った仮説の多重性を捉え,多様なアンサンブルを構築するためのフレームワークであるマルチサイメトリ・アンサンブル(MSE)を提案する。 コントラスト表現学習の最近の進歩を利用して、不変および同変汎関数クラスの対立仮説を別々に捉えるモデルを作成し、与えられたタスクの適切な仮説を効率的に結合する単純なセンスリングアプローチを提案する。 MSEは、ImageNetのような大規模で多様なデータセットでしばしば必要とされる矛盾する仮説の多重性を効果的に捉えていることを示す。 その固有の多様性の結果、MSEは分類性能、不確実な定量化、一連の伝達タスクの一般化を改善している。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Symmetries-enhanced Multi-Agent Reinforcement Learning [25.383183391244373]
  エージェントが複雑な協調行動を学ぶための強力なフレームワークとして、マルチエージェント強化学習が登場した。 近年の進歩は、システム固有の対称性を政策に組み込むことによって、これらの問題を緩和しようとしている。 本稿では,マルチエージェントシステムに外部対称性を組み込むための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T08:41:31Z)
• Stability of Primal-Dual Gradient Flow Dynamics for Multi-Block Convex Optimization Problems [2.66854711376491]
  提案された力学はラグランジアンの近位拡大に基づいている。 我々は、グローバル(指数)収束保証を確立するために、様々な構造的特性を利用する。 我々の仮定は、様々な原始双対力学の(指数的な)安定性を証明するために必要なものよりもはるかに弱い。
  論文  参考訳（メタデータ） (2024-08-28T17:43:18Z)
• Multivariate Stochastic Dominance via Optimal Transport and Applications to Models Benchmarking [21.23500484100963]
  最適輸送の枠組みの下で, ほぼ優位性をスムーズなコストで評価する統計モデルを導入する。 また、Sinkhornアルゴリズムを用いた仮説テストフレームワークと効率的な実装を提案する。 複数のメトリクスで評価された大規模言語モデルの比較とベンチマークを行う方法について紹介する。
  論文  参考訳（メタデータ） (2024-06-10T16:14:50Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences [55.25331349436895]
  深層生成モデルは、生命科学における逆問題に対する一般的な機械学習ベースのアプローチとして登場した。 これらの問題は、データ分布の学習に加えて、興味のある複数の特性を満たす新しい設計をサンプリングする必要があることが多い。
  論文  参考訳（メタデータ） (2022-10-19T19:04:45Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning [12.770012299379099]
  より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。 実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-25T03:27:47Z)
• Towards Multimodal Response Generation with Exemplar Augmentation and Curriculum Optimization [73.45742420178196]
  本稿では,高度化とカリキュラム最適化を併用した,新しいマルチモーダル応答生成フレームワークを提案する。 我々のモデルは多様性と妥当性の点で強いベースラインに比べて大幅に改善されている。
  論文  参考訳（メタデータ） (2020-04-26T16:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。