論文の概要: Toward Generalist Semi-supervised Regression via Decoupled Representation Distillation

• arxiv url: http://arxiv.org/abs/2508.14082v1
• Date: Tue, 12 Aug 2025 22:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.16746
• Title: Toward Generalist Semi-supervised Regression via Decoupled Representation Distillation
• Title（参考訳）: 疎水化表現蒸留による一般性半監督回帰に向けて
• Authors: Ye Su, Hezhe Qiao, Wei Huang, Lin Chen,
• Abstract要約: 半教師付き回帰作業のためのエンドツーエンドデカップリング型表現蒸留フレームワーク(DRILL)について紹介する。 提案したDRILLは強力な一般化を持ち、競合する手法よりも優れている。
• 参考スコア（独自算出の注目度）: 8.645821347784835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised regression (SSR), which aims to predict continuous scores of samples while reducing reliance on a large amount of labeled data, has recently received considerable attention across various applications, including computer vision, natural language processing, and audio and medical analysis. Existing semi-supervised methods typically apply consistency regularization on the general regression task by generating pseudo-labels. However, these methods heavily rely on the quality of pseudo-labels, and direct regression fails to learn the label distribution and can easily lead to overfitting. To address these challenges, we introduce an end-to-end Decoupled Representation distillation framework (DRILL) which is specially designed for the semi-supervised regression task where we transform the general regression task into a Discrete Distribution Estimation (DDE) task over multiple buckets to better capture the underlying label distribution and mitigate the risk of overfitting associated with direct regression. Then we employ the Decoupled Distribution Alignment (DDA) to align the target bucket and non-target bucket between teacher and student on the distribution of buckets, encouraging the student to learn more robust and generalized knowledge from the teacher. Extensive experiments conducted on datasets from diverse domains demonstrate that the proposed DRILL has strong generalization and outperforms the competing methods.
• Abstract（参考訳）: 大量のラベル付きデータへの依存を低減しつつ,サンプルの連続的なスコアを予測することを目的とした半教師付き回帰(SSR)は,近年,コンピュータビジョン,自然言語処理,オーディオ・医療分析など,様々な分野で注目されている。 既存の半教師付き手法は、通常、擬似ラベルを生成することによって一般的な回帰タスクに整合正則化を適用する。 しかし、これらの手法は擬似ラベルの品質に大きく依存しており、直接回帰はラベル分布の学習に失敗し、容易に過度に適合する。 これらの課題に対処するため,我々は,汎用回帰タスクを複数のバケット上で離散分布推定(DDE)タスクに変換する半教師付き回帰タスク用に特別に設計されたエンドツーエンドのデカップリング型表現蒸留フレームワーク(DRILL)を導入し,ラベルの分布をよりよく把握し,直接回帰に伴うオーバーフィットのリスクを軽減する。 次に,DDA(Decoupled Distribution Alignment)を用いて,対象のバケツと非目標のバケツを教師と生徒のバケツの分布に合わせることで,より堅牢で汎用的な知識を教師から学べるように促す。 多様な領域のデータセットに対して行われた大規模な実験は、提案されたDRILLが強力な一般化を持ち、競合する手法よりも優れていることを示す。

関連論文リスト

• Leveraging Group Classification with Descending Soft Labeling for Deep Imbalanced Regression [6.649953811669191]
  ディープ・インバランス・レグレッション(DIR)は、機械学習において興味深いが未探索の課題である。 まず、DIRの目的とベイズ的観点からの分類の関連性を橋渡しする。 具体的には、近隣のラベルのデータを同じグループに集約することにより、順序付きグループ認識学習損失を導入する。 また,データ間の固有類似性を生かした対称な下降型ソフトラベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-12-16T19:54:57Z)
• Unilaterally Aggregated Contrastive Learning with Hierarchical Augmentation for Anomaly Detection [64.50126371767476]
  階層的拡張(UniCon-HA)を用いた一方的集約型コントラスト学習を提案する。 我々は、教師付きおよび教師なしの対照的な損失を通じて、インレーヤの濃度と仮想外れ値の分散を明示的に奨励する。 本手法は,ラベルなし1クラス,ラベルなしマルチクラス,ラベル付きマルチクラスを含む3つのAD設定で評価される。
  論文  参考訳（メタデータ） (2023-08-20T04:01:50Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
  本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。 我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。 実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T10:10:48Z)
• Hybrid Dynamic Contrast and Probability Distillation for Unsupervised Person Re-Id [109.1730454118532]
  非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。 本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。 教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
  論文  参考訳（メタデータ） (2021-09-29T02:56:45Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Global Distance-distributions Separation for Unsupervised Person Re-identification [93.39253443415392]
  既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。 本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。 本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-06-01T07:05:39Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。