論文の概要: Semantic Equivariant Mixup
- arxiv url: http://arxiv.org/abs/2308.06451v1
- Date: Sat, 12 Aug 2023 03:05:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 17:12:11.093361
- Title: Semantic Equivariant Mixup
- Title（参考訳）: 意味的同変混合
- Authors: Zongbo Han, Tianchi Xie, Bingzhe Wu, Qinghua Hu, Changqing Zhang
- Abstract要約: Mixupは、トレーニング分布を拡張し、ニューラルネットワークを正規化する、確立されたデータ拡張テクニックである。
以前のミックスアップの変種はラベル関連の情報に過度に焦点をあてる傾向がある。
入力中のよりリッチな意味情報を保存するための意味的同変混合(sem)を提案する。
- 参考スコア（独自算出の注目度）: 54.734054770032934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixup is a well-established data augmentation technique, which can extend the
training distribution and regularize the neural networks by creating ''mixed''
samples based on the label-equivariance assumption, i.e., a proportional mixup
of the input data results in the corresponding labels being mixed in the same
proportion. However, previous mixup variants may fail to exploit the
label-independent information in mixed samples during training, which usually
contains richer semantic information. To further release the power of mixup, we
first improve the previous label-equivariance assumption by the
semantic-equivariance assumption, which states that the proportional mixup of
the input data should lead to the corresponding representation being mixed in
the same proportion. Then a generic mixup regularization at the representation
level is proposed, which can further regularize the model with the semantic
information in mixed samples. At a high level, the proposed semantic
equivariant mixup (sem) encourages the structure of the input data to be
preserved in the representation space, i.e., the change of input will result in
the obtained representation information changing in the same way. Different
from previous mixup variants, which tend to over-focus on the label-related
information, the proposed method aims to preserve richer semantic information
in the input with semantic-equivariance assumption, thereby improving the
robustness of the model against distribution shifts. We conduct extensive
empirical studies and qualitative analyzes to demonstrate the effectiveness of
our proposed method. The code of the manuscript is in the supplement.
- Abstract（参考訳）: Mixupは、ラベル等価性の仮定に基づいて'mixed'サンプルを作成することにより、トレーニング分布を拡張し、ニューラルネットワークを規則化する、よく確立されたデータ拡張技術である。
しかし、以前のmixup変種はトレーニング中に混合サンプルのラベルに依存しない情報を活用できず、通常はより豊かな意味情報を含んでいる。
混合のパワーを更に解放するため,我々は,まず,入力データの比例混合によって対応する表現が同じ割合で混合されるべきであるという意味同分散仮定により,先行するラベル同分散仮定を改善する。
次に、表現レベルでのジェネリックなミックスアップ正規化を提案し、混合サンプルのセマンティック情報によりモデルをさらに正規化する。
高いレベルでは、提案された意味的同変混合(sem)は、入力データの構造を表現空間に保存することを奨励する。
提案手法は,ラベル関連情報に過度に注目する傾向のある従来のミックスアップ変種とは異なり,よりリッチな意味情報を意味同分散仮定で入力に保存し,分散シフトに対するモデルのロバスト性を向上させることを目的としている。
提案手法の有効性を実証するために,広範な実験研究と質的分析を行った。
写本のコードは補遺されている。
関連論文リスト
- SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。
そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
論文 参考訳（メタデータ） (2024-07-10T16:25:26Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Selective Mixup Helps with Distribution Shifts, But Not (Only) because
of Mixup [26.105340203096596]
本研究では,ペアの非ランダム選択がトレーニング分布に影響を及ぼし,混合とは無関係な手段による一般化が向上することを示す。
選択混合法と再サンプリング法という2つの手法の間に新しい等価性を見出した。
論文 参考訳（メタデータ） (2023-05-26T10:56:22Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。
ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。
C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文 参考訳（メタデータ） (2022-10-11T20:39:38Z) - Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。
本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。
DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文 参考訳（メタデータ） (2022-03-21T07:12:18Z) - A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。
条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。
混合物のパラメータと距離測定値に基づいて後部推論を行う。
論文 参考訳（メタデータ） (2020-12-03T18:08:30Z) - On Mixup Regularization [16.748910388577308]
Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。
そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
論文 参考訳（メタデータ） (2020-06-10T20:11:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。