論文の概要: Mixup Your Own Pairs

• arxiv url: http://arxiv.org/abs/2309.16633v1
• Date: Thu, 28 Sep 2023 17:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-09-29 13:06:46.032294
• Title: Mixup Your Own Pairs
• Title（参考訳）: 自分のペアを混ぜる
• Authors: Yilei Wu, Zijian Dong, Chongyao Chen, Wangchunshu Zhou, Juan Helen Zhou
• Abstract要約: 我々は、回帰に対する対照的な学習の可能性は、2つの重要な側面(常性認識と硬さ)を無視しているため、隠蔽されていると論じる。 具体的には,Mix(SupReMix)を用いた回帰学習における教師付きコントラスト学習を提案する。 アンカー・インクルージョン混合物(アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン混合物、アンカー・インクルージョン
• 参考スコア（独自算出の注目度）: 22.882694278940598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In representation learning, regression has traditionally received less attention than classification. Directly applying representation learning techniques designed for classification to regression often results in fragmented representations in the latent space, yielding sub-optimal performance. In this paper, we argue that the potential of contrastive learning for regression has been overshadowed due to the neglect of two crucial aspects: ordinality-awareness and hardness. To address these challenges, we advocate "mixup your own contrastive pairs for supervised contrastive regression", instead of relying solely on real/augmented samples. Specifically, we propose Supervised Contrastive Learning for Regression with Mixup (SupReMix). It takes anchor-inclusive mixtures (mixup of the anchor and a distinct negative sample) as hard negative pairs and anchor-exclusive mixtures (mixup of two distinct negative samples) as hard positive pairs at the embedding level. This strategy formulates harder contrastive pairs by integrating richer ordinal information. Through extensive experiments on six regression datasets including 2D images, volumetric images, text, tabular data, and time-series signals, coupled with theoretical analysis, we demonstrate that SupReMix pre-training fosters continuous ordered representations of regression data, resulting in significant improvement in regression performance. Furthermore, SupReMix is superior to other approaches in a range of regression challenges including transfer learning, imbalanced training data, and scenarios with fewer training samples.
• Abstract（参考訳）: 表現学習では、回帰は伝統的に分類よりも注意が払われていない。 回帰に分類用に設計された表現学習技術を直接適用すると、しばしば潜在空間における断片化表現が発生し、準最適性能が得られる。 本稿では,2つの重要な側面,すなわち順序性認識と硬さの欠如から,回帰学習におけるコントラスト学習の可能性が隠蔽されていることを論じる。 これらの課題に対処するため、私たちは、実/実サンプルのみに頼るのではなく、"教師付きコントラスト回帰のための自身のコントラストペアを混ぜ合わせる"ことを推奨する。 具体的には,SupReMix (SupReMix) を用いた回帰学習を提案する。 アンカー-包括的混合物(アンカーと異なる負の試料の混合)をハード負のペアとして、アンカー-排他的混合物(2つの異なる負の試料の混合)を埋め込みレベルでハード正のペアとする。 この戦略は、よりリッチな順序情報を統合することで、よりコントラスト的なペアを定式化する。 2次元画像、ボリューム画像、テキスト、表データ、時系列信号を含む6つの回帰データセットと理論解析を組み合わせることで、supremixプリトレーニングが回帰データの連続順序表現を助長し、回帰性能が大幅に向上することを示す。 さらに、SupReMixは、転送学習、不均衡なトレーニングデータ、トレーニングサンプルが少ないシナリオなど、さまざまな回帰的な課題において、他のアプローチよりも優れている。

関連論文リスト

• Efficient Medical Image Restoration via Reliability Guided Learning in Frequency Domain [29.81704480466466]
  医用画像復元タスクは、劣化した観察から高品質な画像を回復することを目的としており、多くの臨床シナリオにおいて創発的な欲求を示す。 既存のディープラーニングに基づく復元手法は、計算効率の良い再構成結果のレンダリングに苦慮している。 本稿では、周波数領域における信頼性誘導学習による軽量トランスフォーマーを用いたLRformerを提案する。
  論文  参考訳（メタデータ） (2025-04-15T15:26:28Z)
• Q-PART: Quasi-Periodic Adaptive Regression with Test-time Training for Pediatric Left Ventricular Ejection Fraction Regression [45.69922532213079]
  適応型左室エジェクション・フラクション(LVEF)の評価の課題に対処する。 我々はtextbfTest-time Training (Q-PART) フレームワークを用いた textbfQuasi-textbfPeriodic textbfAdaptive textbfRegression を提案する。
  論文  参考訳（メタデータ） (2025-03-06T06:24:51Z)
• Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval [2.9801426627439453]
  本研究では,CLIP,CXR-RePaiR,MedCLIP,CXR-CLIPの4つの最先端コントラスト学習モデルの堅牢性を評価する。 以上の結果から,全ての評価モデルは分布外データに非常に敏感であることが判明した。 これらの制限に対処することにより、医療応用のためのより信頼性の高いクロスドメイン検索モデルを構築することができる。
  論文  参考訳（メタデータ） (2025-01-15T20:37:04Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Over-training with Mixup May Hurt Generalization [32.64382185990981]
  今回,Mixupトレーニングの既往の現象を報告する。 多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。 理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T18:37:34Z)
• Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking [38.666592866591344]
  マルチシナリオ広告ランキングは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることを目的としている。 マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC2)を提案する。
  論文  参考訳（メタデータ） (2023-02-06T09:15:39Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• GraVIS: Grouping Augmented Views from Independent Sources for Dermatology Analysis [52.04899592688968]
  皮膚科画像から自己教師付き特徴を学習するために特に最適化されたGraVISを提案する。 GraVISは、病変のセグメンテーションと疾患分類のタスクにおいて、転送学習と自己教師型学習を著しく上回っている。
  論文  参考訳（メタデータ） (2023-01-11T11:38:37Z)
• C-Mixup: Improving Generalization in Regression [71.10418219781575]
  混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。 ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
  論文  参考訳（メタデータ） (2022-10-11T20:39:38Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• Hard Negative Sampling Strategies for Contrastive Representation Learning [4.1531215150301035]
  UnReMixは、アンカーの類似性、モデルの不確実性、代表性を考慮に入れた、ハードネガティブなサンプリング戦略である。 いくつかのベンチマークによる実験結果から,UnReMixは正のサンプル選択を改良し,その後,最先端のコントラスト学習法と比較した場合の下流性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-02T17:55:15Z)
• Maximum Entropy on Erroneous Predictions (MEEP): Improving model calibration for medical image segmentation [10.159176702917788]
  本稿では,分割ネットワークのトレーニング戦略であるMEEPを紹介する。 脳の磁気共鳴画像(MRI)における白質高強度病変と、心臓MRIにおける心房細動の2つの課題について、提案手法をベンチマークした。
  論文  参考訳（メタデータ） (2021-12-22T20:34:20Z)
• Adaptive Contrast for Image Regression in Computer-Aided Disease Assessment [22.717658723840255]
  深部画像回帰のための最初のコントラスト学習フレームワーク,すなわちAdaConを提案する。 AdaConは、新しいアダプティブマージンコントラスト損失と回帰予測ブランチによる特徴学習ブランチで構成されている。 AdaConの2つの医用画像回帰作業における効果を実証する。
  論文  参考訳（メタデータ） (2021-12-22T07:13:02Z)
• Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation [64.59521853145368]
  CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。 ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。 この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
  論文  参考訳（メタデータ） (2021-09-08T07:56:51Z)
• MixRL: Data Mixing Augmentation for Regression using Reinforcement Learning [2.1345682889327837]
  データ拡張のための既存のテクニックは、主に分類タスクに焦点を当てており、回帰タスクに簡単には適用できない。 その結果,大容量データとラベル距離の混合がモデル性能に悪影響を及ぼす可能性が示唆された。 そこで本研究では,データ拡張メタ学習フレームワークであるMixRLを提案する。
  論文  参考訳（メタデータ） (2021-06-07T07:01:39Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)
• ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
  本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。 特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。 提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
  論文  参考訳（メタデータ） (2021-03-31T06:24:10Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• On Mixup Regularization [16.748910388577308]
  Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。 そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
  論文  参考訳（メタデータ） (2020-06-10T20:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。