論文の概要: G-Mix: A Generalized Mixup Learning Framework Towards Flat Minima

• arxiv url: http://arxiv.org/abs/2308.03236v2
• Date: Sat, 19 Aug 2023 16:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 22:26:12.750981
• Title: G-Mix: A Generalized Mixup Learning Framework Towards Flat Minima
• Title（参考訳）: G-Mix:フラットミニマを目指す総合的な混合学習フレームワーク
• Authors: Xingyu Li and Bo Tang
• Abstract要約: 我々は、DNNモデルのトレーニングにMixupとSAMの強みを組み合わせた、Generalized-Mixupと呼ばれる新しい学習フレームワークを提案する。 本稿では2つの新しいアルゴリズムを提案する: バイナリG-Mixと分解G-Mixは、各サンプルのシャープネス感度に基づいてトレーニングデータを2つのサブセットに分割する。 理論的説明と実験結果の両方により、提案したBG-MixアルゴリズムとDG-Mixアルゴリズムは、複数のデータセットやモデルにわたるモデルの一般化をさらに強化することが明らかとなった。
• 参考スコア（独自算出の注目度）: 17.473268736086137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have demonstrated promising results in various complex tasks. However, current DNNs encounter challenges with over-parameterization, especially when there is limited training data available. To enhance the generalization capability of DNNs, the Mixup technique has gained popularity. Nevertheless, it still produces suboptimal outcomes. Inspired by the successful Sharpness-Aware Minimization (SAM) approach, which establishes a connection between the sharpness of the training loss landscape and model generalization, we propose a new learning framework called Generalized-Mixup, which combines the strengths of Mixup and SAM for training DNN models. The theoretical analysis provided demonstrates how the developed G-Mix framework enhances generalization. Additionally, to further optimize DNN performance with the G-Mix framework, we introduce two novel algorithms: Binary G-Mix and Decomposed G-Mix. These algorithms partition the training data into two subsets based on the sharpness-sensitivity of each example to address the issue of "manifold intrusion" in Mixup. Both theoretical explanations and experimental results reveal that the proposed BG-Mix and DG-Mix algorithms further enhance model generalization across multiple datasets and models, achieving state-of-the-art performance.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々な複雑なタスクにおいて有望な結果を示している。 しかし、現在のDNNは、特にトレーニングデータに制限がある場合、過パラメータ化の課題に直面している。 DNNの一般化能力を高めるために、Mixup技術が人気を集めている。 しかし、それでも準最適結果を生み出す。 トレーニング損失ランドスケープのシャープネスとモデル一般化を結びつけるSAM(Sharpness-Aware Minimization)アプローチに着想を得て,DNNモデルのトレーニングにMixupとSAMの強みを組み合わせたGeneralized-Mixupという新たな学習フレームワークを提案する。 この理論解析は、G-Mixフレームワークが一般化をいかに促進するかを示す。 さらに、G-MixフレームワークでDNN性能をさらに最適化するために、バイナリG-Mixと分解G-Mixの2つの新しいアルゴリズムを導入する。 これらのアルゴリズムは、各サンプルのシャープネス感度に基づいてトレーニングデータを2つのサブセットに分割し、Mixupの"manifold intrusion"の問題に対処する。 理論的説明と実験結果の両方で、提案したBG-MixアルゴリズムとDG-Mixアルゴリズムは、複数のデータセットやモデルにわたるモデルの一般化をさらに促進し、最先端の性能を達成する。

関連論文リスト

• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Mixed Semi-Supervised Generalized-Linear-Regression with applications to Deep-Learning and Interpolators [6.537685198688539]
  本稿では、ラベルのないデータを用いて、半教師付き学習法(SSL)を設計する手法を提案する。 それぞれに$alpha$という混合パラメータが含まれており、ラベルのないデータに与えられる重みを制御する。 我々は,標準教師付きモデルと比較して,大幅な改善を実現するための方法論の有効性を実証する。
  論文  参考訳（メタデータ） (2023-02-19T09:55:18Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• Tight integration of neural- and clustering-based diarization through deep unfolding of infinite Gaussian mixture model [84.57667267657382]
  本稿では,統合フレームワークにトレーニング可能なクラスタリングアルゴリズムを導入する。 話者埋め込みはトレーニング中に最適化され、iGMMクラスタリングに適合する。 実験の結果,提案手法はダイアリゼーション誤差率において従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-02-14T07:45:21Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
  バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。 また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。 実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
  論文  参考訳（メタデータ） (2021-02-05T09:12:02Z)
• MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for Training Large Graph Convolutional Networks [20.07942308916373]
  グラフ畳み込みネットワーク(GCN)は、隣人層の情報を層ごとに集約することでノードの埋め込みを生成する。 GCNの高計算とメモリコストにより、大きなグラフのトレーニングが不可能になる。 MG-GCNと呼ばれる新しいモデルでは、精度、トレーニング速度、収束速度、メモリコストの点で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-11-17T14:51:57Z)
• DS-UI: Dual-Supervised Mixture of Gaussian Mixture Models for Uncertainty Inference [52.899219617256655]
  本稿では、ディープニューラルネットワーク(DNN)に基づく画像認識において、ベイズ推定に基づく不確実性推論(UI)を改善するための二重教師付き不確実性推論(DS-UI)フレームワークを提案する。 DS-UIでは、最後の完全連結(FC)層とガウス混合モデル(MoGMM)を組み合わせ、MoGMM-FC層を得る。 実験の結果,DS-UIは誤分類検出において最先端のUI手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-11-17T12:35:02Z)
• Hyperspectral Unmixing Network Inspired by Unfolding an Optimization Problem [2.4016406737205753]
  ハイパースペクトル画像(HSI)アンミックスタスクは本質的に逆問題であり、最適化アルゴリズムによってよく解決される。 本稿では,U-ADMM-AENetとU-ADMM-BUNetという2つの新しいネットワークアーキテクチャを提案する。 本研究は,機械学習の文献において,展開された構造が対応する解釈を見つけることを示し,提案手法の有効性をさらに示すものである。
  論文  参考訳（メタデータ） (2020-05-21T18:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。