論文の概要: C-Mixup: Improving Generalization in Regression

• arxiv url: http://arxiv.org/abs/2210.05775v1
• Date: Tue, 11 Oct 2022 20:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:58:50.796142
• Title: C-Mixup: Improving Generalization in Regression
• Title（参考訳）: C-Mixup: 回帰の一般化を改善する
• Authors: Huaxiu Yao, Yiping Wang, Linjun Zhang, James Zou, Chelsea Finn
• Abstract要約: 混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
• 参考スコア（独自算出の注目度）: 71.10418219781575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the generalization of deep networks is an important open challenge, particularly in domains without plentiful data. The mixup algorithm improves generalization by linearly interpolating a pair of examples and their corresponding labels. These interpolated examples augment the original training set. Mixup has shown promising results in various classification tasks, but systematic analysis of mixup in regression remains underexplored. Using mixup directly on regression labels can result in arbitrarily incorrect labels. In this paper, we propose a simple yet powerful algorithm, C-Mixup, to improve generalization on regression tasks. In contrast with vanilla mixup, which picks training examples for mixing with uniform probability, C-Mixup adjusts the sampling probability based on the similarity of the labels. Our theoretical analysis confirms that C-Mixup with label similarity obtains a smaller mean square error in supervised regression and meta-regression than vanilla mixup and using feature similarity. Another benefit of C-Mixup is that it can improve out-of-distribution robustness, where the test distribution is different from the training distribution. By selectively interpolating examples with similar labels, it mitigates the effects of domain-associated information and yields domain-invariant representations. We evaluate C-Mixup on eleven datasets, ranging from tabular to video data. Compared to the best prior approach, C-Mixup achieves 6.56%, 4.76%, 5.82% improvements in in-distribution generalization, task generalization, and out-of-distribution robustness, respectively. Code is released at https://github.com/huaxiuyao/C-Mixup.
• Abstract（参考訳）: ディープネットワークの一般化は、特に豊富なデータを持たない領域において、重要なオープン課題である。 混合アルゴリズムは、一対の例とその対応するラベルを線形補間することにより一般化を改善する。 これらの補間された例は、オリジナルのトレーニングセットを拡張します。 mixupは様々な分類タスクで有望な結果を示しているが、回帰におけるmixupの系統的分析は未検討である。 回帰ラベルに直接mixupを使用すると、任意に誤ったラベルが生成される。 本稿では,回帰タスクの一般化を改善するために,単純かつ強力なアルゴリズムであるc-mixupを提案する。 一様確率で混合する訓練例を選択するバニラミックスアップとは対照的に、c-ミックスアップはラベルの類似度に基づいてサンプリング確率を調整する。 C-Mixupのラベル類似性は,バニラミキサップよりも教師付き回帰およびメタ回帰において平均2乗誤差が小さく,特徴類似性も小さいことを理論的に確認した。 c-mixupのもう1つの利点は、テスト分布がトレーニング分布と異なる分散のロバスト性を改善することである。 類似ラベルで例を選択的に補間することにより、ドメイン関連情報の影響を緩和し、ドメイン不変表現を生成する。 表データからビデオデータまで,11のデータセットでc-mixupを評価した。 最良の事前アプローチと比較して、c-mixupは6.56%、4.76%、5.82%のin-distribution generalization、task generalization、out-of-distribution robustnessを達成している。 コードはhttps://github.com/huaxiuyao/c-mixupでリリースされる。

関連論文リスト

• SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
  混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。 そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
  論文  参考訳（メタデータ） (2024-07-10T16:25:26Z)
• PowMix: A Versatile Regularizer for Multimodal Sentiment Analysis [71.8946280170493]
  本稿では,単相混合型正規化手法の強みを生かした汎用な埋め込み空間正規化器であるPowMixを紹介する。 PowMixはマルチモーダルアーキテクチャの融合段階の前に統合され、テキストとテキストを混合するなどのモダル内混合を容易にし、レギュレータとして機能する。
  論文  参考訳（メタデータ） (2023-12-19T17:01:58Z)
• Semantic Equivariant Mixup [54.734054770032934]
  Mixupは、トレーニング分布を拡張し、ニューラルネットワークを正規化する、確立されたデータ拡張テクニックである。 以前のミックスアップの変種はラベル関連の情報に過度に焦点をあてる傾向がある。 入力中のよりリッチな意味情報を保存するための意味的同変混合(sem)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T03:05:53Z)
• Selective Mixup Helps with Distribution Shifts, But Not (Only) because of Mixup [26.105340203096596]
  本研究では,ペアの非ランダム選択がトレーニング分布に影響を及ぼし,混合とは無関係な手段による一般化が向上することを示す。 選択混合法と再サンプリング法という2つの手法の間に新しい等価性を見出した。
  論文  参考訳（メタデータ） (2023-05-26T10:56:22Z)
• Infinite Class Mixup [26.48101652432502]
  Mixupは、トレーニングペアのインプットとラベルを補間することで、追加のサンプルが拡張されるディープネットワークのトレーニング戦略である。 本論文は,各混合ペアのラベルを混合する代わりに,分類器を直接混合することにより,この問題に対処することを目的とする。 Infinite Class Mixupは標準のMixupやRegMixupやRemixなど、バランスの取れた、長い尾のついた、データに制約のあるベンチマークにおいて、パフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-05-17T15:27:35Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
  データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。 その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。 そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
  論文  参考訳（メタデータ） (2021-06-07T07:01:39Z)
• k-Mixup Regularization for Deep Learning via Optimal Transport [32.951696405505686]
  Mixupは、ディープニューラルネットワークをトレーニングするための一般的な正規化テクニックである。 emph$k$-mixupは、他の$k$-batchesの方向に、トレーニングポイントの$k$-batchesを摂動させる。 我々は、$k$-mixupによるトレーニングにより、複数のネットワークアーキテクチャにおける一般化と堅牢性がさらに向上することを示す。
  論文  参考訳（メタデータ） (2021-06-05T17:08:08Z)
• Improving Generalization in Reinforcement Learning with Mixture Regularization [113.12412071717078]
  そこで本研究では,異なるトレーニング環境からの観察を混合してエージェントを訓練する,mixregという簡単なアプローチを提案する。 Mixregはデータの多様性をより効果的に向上し、よりスムーズなポリシーを学ぶのに役立つ。 その結果、mixregは、未確認テスト環境において確立されたベースラインを大きなマージンで上回る結果となった。
  論文  参考訳（メタデータ） (2020-10-21T08:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。