Fugu-MT 論文翻訳(概要): Mixup Your Own Pairs

論文の概要: Mixup Your Own Pairs

arxiv url: http://arxiv.org/abs/2309.16633v1
Date: Thu, 28 Sep 2023 17:38:59 GMT
ステータス: 処理完了
システム内更新日: 2023-09-29 13:06:46.032294
Title: Mixup Your Own Pairs
Title（参考訳）: 自分のペアを混ぜる
Authors: Yilei Wu, Zijian Dong, Chongyao Chen, Wangchunshu Zhou, Juan Helen Zhou
Abstract要約: 我々は、回帰に対する対照的な学習の可能性は、2つの重要な側面(常性認識と硬さ)を無視しているため、隠蔽されていると論じる。具体的には,Mix(SupReMix)を用いた回帰学習における教師付きコントラスト学習を提案する。アンカー・インクルージョン混合物(アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン
参考スコア（独自算出の注目度）: 22.882694278940598
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In representation learning, regression has traditionally received less attention than classification. Directly applying representation learning techniques designed for classification to regression often results in fragmented representations in the latent space, yielding sub-optimal performance. In this paper, we argue that the potential of contrastive learning for regression has been overshadowed due to the neglect of two crucial aspects: ordinality-awareness and hardness. To address these challenges, we advocate "mixup your own contrastive pairs for supervised contrastive regression", instead of relying solely on real/augmented samples. Specifically, we propose Supervised Contrastive Learning for Regression with Mixup (SupReMix). It takes anchor-inclusive mixtures (mixup of the anchor and a distinct negative sample) as hard negative pairs and anchor-exclusive mixtures (mixup of two distinct negative samples) as hard positive pairs at the embedding level. This strategy formulates harder contrastive pairs by integrating richer ordinal information. Through extensive experiments on six regression datasets including 2D images, volumetric images, text, tabular data, and time-series signals, coupled with theoretical analysis, we demonstrate that SupReMix pre-training fosters continuous ordered representations of regression data, resulting in significant improvement in regression performance. Furthermore, SupReMix is superior to other approaches in a range of regression challenges including transfer learning, imbalanced training data, and scenarios with fewer training samples.
Abstract（参考訳）: 表現学習では、回帰は伝統的に分類よりも注意が払われていない。回帰に分類用に設計された表現学習技術を直接適用すると、しばしば潜在空間における断片化表現が発生し、準最適性能が得られる。本稿では,2つの重要な側面,すなわち順序性認識と硬さの欠如から,回帰学習におけるコントラスト学習の可能性が隠蔽されていることを論じる。これらの課題に対処するため、私たちは、実/実サンプルのみに頼るのではなく、"教師付きコントラスト回帰のための自身のコントラストペアを混ぜ合わせる"ことを推奨する。具体的には,SupReMix (SupReMix) を用いた回帰学習を提案する。アンカー-包括的混合物(アンカーと異なる負の試料の混合)をハード負のペアとして、アンカー-排他的混合物(2つの異なる負の試料の混合)を埋め込みレベルでハード正のペアとする。この戦略は、よりリッチな順序情報を統合することで、よりコントラスト的なペアを定式化する。 2次元画像、ボリューム画像、テキスト、表データ、時系列信号を含む6つの回帰データセットと理論解析を組み合わせることで、supremixプリトレーニングが回帰データの連続順序表現を助長し、回帰性能が大幅に向上することを示す。さらに、SupReMixは、転送学習、不均衡なトレーニングデータ、トレーニングサンプルが少ないシナリオなど、さまざまな回帰的な課題において、他のアプローチよりも優れている。

関連論文リスト

Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Over-training with Mixup May Hurt Generalization [32.64382185990981]
今回,Mixupトレーニングの既往の現象を報告する。多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
論文参考訳（メタデータ） (2023-03-02T18:37:34Z)
Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
論文参考訳（メタデータ） (2023-02-06T09:15:39Z)
C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文参考訳（メタデータ） (2022-10-11T20:39:38Z)
DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
論文参考訳（メタデータ） (2022-09-12T15:01:04Z)
Hard Negative Sampling Strategies for Contrastive Representation Learning [4.1531215150301035]
UnReMixは、アンカーの類似性、モデルの不確実性、代表性を考慮に入れた、ハードネガティブなサンプリング戦略である。いくつかのベンチマークによる実験結果から,UnReMixは正のサンプル選択を改良し,その後,最先端のコントラスト学習法と比較した場合の下流性能が向上することが示された。
論文参考訳（メタデータ） (2022-06-02T17:55:15Z)
MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
論文参考訳（メタデータ） (2021-06-07T07:01:39Z)
ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
論文参考訳（メタデータ） (2021-03-31T06:24:10Z)
Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文参考訳（メタデータ） (2021-03-09T15:15:32Z)
On Mixup Regularization [16.748910388577308]
Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
論文参考訳（メタデータ） (2020-06-10T20:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。