論文の概要: Residual Feature Integration is Sufficient to Prevent Negative Transfer

• arxiv url: http://arxiv.org/abs/2505.11771v1
• Date: Sat, 17 May 2025 00:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.83789
• Title: Residual Feature Integration is Sufficient to Prevent Negative Transfer
• Title（参考訳）: 残像統合は負の移動を防ぐのに十分である
• Authors: Yichen Xu, Ryumei Nakada, Linjun Zhang, Lexin Li,
• Abstract要約: 負の伝達を緩和するシンプルな手法であるResidual Feature Integration (REFINE)を提案する。 提案手法は、固定されたソース側表現とトレーニング可能なターゲット側エンコーダを組み合わせることで、その結果の関節表現に浅いニューラルネットワークを適合させる。 経験的に、REFINEは様々なアプリケーションやデータモダリティのパフォーマンスを継続的に向上させる。
• 参考スコア（独自算出の注目度）: 16.047084318753377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning typically leverages representations learned from a source domain to improve performance on a target task. A common approach is to extract features from a pre-trained model and directly apply them for target prediction. However, this strategy is prone to negative transfer where the source representation fails to align with the target distribution. In this article, we propose Residual Feature Integration (REFINE), a simple yet effective method designed to mitigate negative transfer. Our approach combines a fixed source-side representation with a trainable target-side encoder and fits a shallow neural network on the resulting joint representation, which adapts to the target domain while preserving transferable knowledge from the source domain. Theoretically, we prove that REFINE is sufficient to prevent negative transfer under mild conditions, and derive the generalization bound demonstrating its theoretical benefit. Empirically, we show that REFINE consistently enhances performance across diverse application and data modalities including vision, text, and tabular data, and outperforms numerous alternative solutions. Our method is lightweight, architecture-agnostic, and robust, making it a valuable addition to the existing transfer learning toolbox.
• Abstract（参考訳）: 転送学習は典型的には、ソースドメインから学んだ表現を活用して、ターゲットタスクのパフォーマンスを改善する。 一般的なアプローチは、事前訓練されたモデルから特徴を抽出し、ターゲット予測に直接適用することである。 しかし、この戦略は、ソース表現がターゲット分布と一致しない場合の負の転送につながる。 本稿では, ネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガ 提案手法では,固定されたソース側表現とトレーニング可能なターゲット側エンコーダを組み合わせることで,結果のジョイント表現に浅いニューラルネットワークを適合させ,ソースドメインからの伝達可能な知識を保ちながら,ターゲットドメインに適応する。 理論的には、REFINEは穏やかな条件下での負の移動を防ぐのに十分であることを証明し、その理論的利点を示す一般化を導出する。 経験的に、REFINEは、視覚、テキスト、表形式のデータを含む様々なアプリケーションやデータモダリティに対して一貫して性能を向上し、多くの代替ソリューションよりも優れていることを示す。 当社の手法は軽量で,アーキテクチャに依存しない,堅牢であり,既存のトランスファー学習ツールボックスに付加価値がある。

関連論文リスト

• Transfer Learning through Enhanced Sufficient Representation: Enriching Source Domain Knowledge with Target Data [2.308168896770315]
  TESR(Enhanced Sufficient Representation)によるトランスファーラーニング(Transfer Learning)と呼ばれる新しいトランスファーラーニング手法を提案する。 私たちのアプローチは、ソースドメインから十分かつ不変な表現を推定することから始まります。 この表現は、ターゲットデータから派生した独立したコンポーネントで拡張され、ターゲットドメインに十分で、その特定の特性に適応できることが保証される。
  論文  参考訳（メタデータ） (2025-02-22T13:18:28Z)
• Transfer Learning of Surrogate Models: Integrating Domain Warping and Affine Transformations [4.515998639772672]
  サロゲートモデルは、計算的に要求される現実世界のプロセスに効率的な代替手段を提供する。 従来の研究では、微分可能および非微分可能サロゲートモデルの移動について研究されてきた。 本稿は、より広い範囲のトランスフォーメーションに対処することで、これまでの研究を拡張している。
  論文  参考訳（メタデータ） (2025-01-30T13:46:48Z)
• Robust Transfer Learning with Unreliable Source Data [11.813197709246289]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation [80.03883315743715]
  ソースのないドメイン適応は、ソースデータを公開することなく、ソース訓練されたモデルをターゲットドメインに転送する。 このパラダイムは、ソースモデルに対する敵対的な攻撃のため、データ漏洩のリスクがある。 そこで我々は,入力レベルとネットワークレベルの両方の正規化からブラックボックスドメインを適応させる新しい手法であるRAIN(RegulArization on Input and Network)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T18:18:47Z)
• Balancing Discriminability and Transferability for Source-Free Domain Adaptation [55.143687986324935]
  従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。 ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。 そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
  論文  参考訳（メタデータ） (2022-06-16T09:06:22Z)
• A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation [91.13472029666312]
  ソースフリーなドメイン適応型セマンティックセマンティックセグメンテーションのためのカリキュラムスタイルの自己学習手法を提案する。 提案手法は, ソースフリーなセマンティックセグメンテーションタスクにおいて, 合成-実-実-実-実-実-実-非実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
  論文  参考訳（メタデータ） (2021-06-22T10:21:39Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。