論文の概要: ShuffleMix: Improving Representations via Channel-Wise Shuffle of
Interpolated Hidden States
- arxiv url: http://arxiv.org/abs/2305.18684v1
- Date: Tue, 30 May 2023 01:53:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 18:47:54.368264
- Title: ShuffleMix: Improving Representations via Channel-Wise Shuffle of
Interpolated Hidden States
- Title（参考訳）: ShuffleMix:隠れた状態のチャネルワイズシャッフルによる表現の改善
- Authors: Kangjun Liu, Ke Chen, Lihua Guo, Yaowei Wang, Kui Jia
- Abstract要約: 本稿では,ShuffleMix-Shuffle of Mixed hidden featuresを紹介する。
われわれのShuffleMix法は,特徴混在管理のためにランダムに選択された単純な線形シャッフル特徴チャネルを好んでいる。
直接競合と比較して、提案されたShuffleMixはより優れた一般化を得ることができる。
- 参考スコア（独自算出の注目度）: 41.628854241259226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixup style data augmentation algorithms have been widely adopted in various
tasks as implicit network regularization on representation learning to improve
model generalization, which can be achieved by a linear interpolation of
labeled samples in input or feature space as well as target space. Inspired by
good robustness of alternative dropout strategies against over-fitting on
limited patterns of training samples, this paper introduces a novel concept of
ShuffleMix -- Shuffle of Mixed hidden features, which can be interpreted as a
kind of dropout operation in feature space. Specifically, our ShuffleMix method
favors a simple linear shuffle of randomly selected feature channels for
feature mixup in-between training samples to leverage semantic interpolated
supervision signals, which can be extended to a generalized shuffle operation
via additionally combining linear interpolations of intra-channel features.
Compared to its direct competitor of feature augmentation -- the Manifold
Mixup, the proposed ShuffleMix can gain superior generalization, owing to
imposing more flexible and smooth constraints on generating samples and
achieving regularization effects of channel-wise feature dropout. Experimental
results on several public benchmarking datasets of single-label and multi-label
visual classification tasks can confirm the effectiveness of our method on
consistently improving representations over the state-of-the-art mixup
augmentation.
- Abstract（参考訳）: ミックスアップ型データ拡張アルゴリズムは、入力または特徴空間におけるラベル付きサンプルの線形補間と対象空間によって達成されるモデル一般化を改善するために、表現学習における暗黙的ネットワーク正規化のような様々なタスクで広く採用されている。
トレーニングサンプルの限られたパターンに対する過剰適合に対する代替ドロップアウト戦略の堅牢性から着想を得た本研究では、特徴空間における一種のドロップアウト操作と解釈できる、混合隠れ特徴のシャッフルという新しい概念を導入する。
具体的には、トレーニングサンプル間の特徴混合のためのランダム選択特徴チャネルの単純な線形シャッフルを好み、チャネル内特徴の線形補間を組み合わせることで、一般化されたシャッフル操作に拡張可能な意味的補間監督信号を活用する。
Manifold Mixup という機能拡張の直接競合と比べ、ShuffleMix はより柔軟でスムーズなサンプル生成の制約を課し、チャネルワイドな機能ドロップアウトの正規化効果を達成するため、より優れた一般化を実現することができる。
単一ラベルおよび複数ラベルの視覚分類タスクの公開ベンチマークデータセットにおける実験結果は,最先端のミックスアップ拡張に対する表現の一貫性向上における手法の有効性を検証できる。
関連論文リスト
- Infinite Class Mixup [26.48101652432502]
Mixupは、トレーニングペアのインプットとラベルを補間することで、追加のサンプルが拡張されるディープネットワークのトレーニング戦略である。
本論文は,各混合ペアのラベルを混合する代わりに,分類器を直接混合することにより,この問題に対処することを目的とする。
Infinite Class Mixupは標準のMixupやRegMixupやRemixなど、バランスの取れた、長い尾のついた、データに制約のあるベンチマークにおいて、パフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-05-17T15:27:35Z) - MixupE: Understanding and Improving Mixup from Directional Derivative
Perspective [86.06981860668424]
理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。
提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
論文 参考訳（メタデータ） (2022-12-27T07:03:52Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - SMILE: Self-Distilled MIxup for Efficient Transfer LEarning [42.59451803498095]
本研究では, SMILE-Self-Distilled Mixup for EffIcient Transfer LEarningを提案する。
混合画像を入力として、SMILEはCNN特徴抽出器の出力を正規化し、入力の混合特徴ベクトルから学習する。
トリプルレギュラライザーは、特徴空間とラベル空間の両方で混合効果のバランスをとりながら、前訓練タスクのサンプル間の線形性をバインドします。
論文 参考訳（メタデータ） (2021-03-25T16:02:21Z) - Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity [15.780905917870427]
バッチ混成データに対する新たな視点を提案し, バッチ混成データの最適構築を定式化する。
また,各ミニバッチ毎に効率的な混合を行うために,効率的なモジュール近似に基づく反復的部分モジュラー計算アルゴリズムを提案する。
実験により, 提案手法は, 技術一般化, キャリブレーション, および弱教師付き局所化結果の状態を達成できることを示した。
論文 参考訳（メタデータ） (2021-02-05T09:12:02Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳（メタデータ） (2019-12-30T17:36:33Z) - Patch-level Neighborhood Interpolation: A General and Effective
Graph-based Regularization Strategy [77.34280933613226]
我々は、ネットワークの計算において非局所的な表現を行うtextbfPatch-level Neighborhood Interpolation(Pani)と呼ばれる一般的な正規化器を提案する。
提案手法は,異なる層にパッチレベルグラフを明示的に構築し,その近傍のパッチ特徴を線形に補間し,汎用的で効果的な正規化戦略として機能する。
論文 参考訳（メタデータ） (2019-11-21T06:31:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。