論文の概要: Loss Surface Simplexes for Mode Connecting Volumes and Fast Ensembling

• arxiv url: http://arxiv.org/abs/2102.13042v1
• Date: Thu, 25 Feb 2021 17:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 14:04:50.382173
• Title: Loss Surface Simplexes for Mode Connecting Volumes and Fast Ensembling
• Title（参考訳）: モード接続ボリュームと高速組み立てのための表面単純化の損失
• Authors: Gregory W. Benton, Wesley J. Maddox, Sanae Lotfi, Andrew Gordon Wilson
• Abstract要約: 高速アンサンブルのための単純な複合体を効率的に構築する方法を示し、データセットシフトに対する精度、キャリブレーション、ロバスト性において独立に訓練されたディープアンサンブルより優れていることを示す。 特に、トレーニング済みのソリューションから始めて、低損失の単純さを発見するには、いくつかのトレーニングエポックしか必要としない。
• 参考スコア（独自算出の注目度）: 36.62816947414829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With a better understanding of the loss surfaces for multilayer networks, we can build more robust and accurate training procedures. Recently it was discovered that independently trained SGD solutions can be connected along one-dimensional paths of near-constant training loss. In this paper, we show that there are mode-connecting simplicial complexes that form multi-dimensional manifolds of low loss, connecting many independently trained models. Inspired by this discovery, we show how to efficiently build simplicial complexes for fast ensembling, outperforming independently trained deep ensembles in accuracy, calibration, and robustness to dataset shift. Notably, our approach only requires a few training epochs to discover a low-loss simplex, starting from a pre-trained solution. Code is available at https://github.com/g-benton/loss-surface-simplexes.
• Abstract（参考訳）: 多層ネットワークの損失面をよりよく理解することで、より堅牢で正確なトレーニング手順を構築することができる。 最近、独立して訓練されたSGDソリューションは、ほぼ一定のトレーニング損失の1次元パスに沿って接続できることが判明しました。 本稿では,低損失の多次元多様体を形成するモード結合型単純錯体が,多くの独立に訓練されたモデルと接続していることを示す。 この発見に触発され、高速アンサンブルのための単純な複合体を効率的に構築する方法を示し、精度、キャリブレーション、データセットシフトへの堅牢性において、独自に訓練されたディープアンサンブルを上回ります。 特に、トレーニング済みのソリューションから始めて、低損失の単純さを発見するには、いくつかのトレーニングエポックしか必要としない。 コードはhttps://github.com/g-benton/loss-surface-simplexesで入手できる。

関連論文リスト

• Meta-Learning with Versatile Loss Geometries for Fast Adaptation Using Mirror Descent [44.56938629818211]
  メタ学習における根本的な課題は、タスク固有のモデルをトレーニングするために、抽出したモデルを迅速に“適応”する方法である。 既存のアプローチは、タスク毎のトレーニングプロセスの収束性を高めるプリコンディショナーを使用して、この課題に対処する。 この寄与は非線形ミラーマップを学習することでこの制限に対処し、多角距離メートル法を誘導する。
  論文  参考訳（メタデータ） (2023-12-20T23:45:06Z)
• Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout [33.308067180286045]
  クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。 我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。 また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
  論文  参考訳（メタデータ） (2023-09-11T03:17:45Z)
• h-analysis and data-parallel physics-informed neural networks [0.7614628596146599]
  物理インフォームドニューラルネットワーク(PINN)に着目した機械学習スキームのデータ並列高速化について検討する。 我々はHorovodトレーニングフレームワークを通じて、$h$-analysisとデータ並列アクセラレーションに基づく新しいプロトコルを詳述する。 アクセラレーションは実装が簡単で、トレーニングを損なわず、非常に効率的で制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-17T12:15:18Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)
• Puzzle-AE: Novelty Detection in Images through Solving Puzzles [8.999416735254586]
  U-Netはこの目的のために有効であることが証明されているが、他のAEベースのフレームワークと同様の再構成エラーを使用することでトレーニングデータに過度に適合する。 この課題に基づいてU-Netをトレーニングすることは、過剰適合を防止し、ピクセルレベルの機能を超えた学習を容易にする効果的な治療法であることを示す。 本稿では,効率的な自動ショートカット除去法として,対向的ロバストトレーニングを提案する。
  論文  参考訳（メタデータ） (2020-08-29T10:53:55Z)
• Dynamic Sampling for Deep Metric Learning [7.010669841466896]
  深度メートル法学習は、視覚的に類似した画像を近くの場所にマッピングし、埋め込み多様体内の互いに視覚的に異なる画像を分離する。 トレーニングペアをネットワークに送受信し易い順に整理する動的サンプリング戦略を提案する。 これにより、ネットワークは、初期の簡単なトレーニングペアからカテゴリ間の一般的な境界を学習し、後のハードトレーニングサンプルに主に依存したモデルの詳細を確定することができる。
  論文  参考訳（メタデータ） (2020-04-24T09:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。