論文の概要: On the inductive biases of deep domain adaptation

• arxiv url: http://arxiv.org/abs/2109.07920v1
• Date: Thu, 16 Sep 2021 12:08:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 20:59:11.174253
• Title: On the inductive biases of deep domain adaptation
• Title（参考訳）: 深部領域適応の帰納的バイアスについて
• Authors: Rodrigue Siry, Louis H\'emadou, Lo\"ic Simon, Fr\'ed\'eric Jurie
• Abstract要約: 深いドメイン適応の成功は、一般的に見られる隠れ帰納バイアスに大きく依存している、と我々は主張する。 本稿では,手工芸品よりも優れた性能を示すため,メタ学習型パラメトリックバイアスを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain alignment is currently the most prevalent solution to unsupervised domain-adaptation tasks and are often being presented as minimizers of some theoretical upper-bounds on risk in the target domain. However, further works revealed severe inadequacies between theory and practice: we consolidate this analysis and confirm that imposing domain invariance on features is neither necessary nor sufficient to obtain low target risk. We instead argue that successful deep domain adaptation rely largely on hidden inductive biases found in the common practice, such as model pre-training or design of encoder architecture. We perform various ablation experiments on popular benchmarks and our own synthetic transfers to illustrate their role in prototypical situations. To conclude our analysis, we propose to meta-learn parametric inductive biases to solve specific transfers and show their superior performance over handcrafted heuristics.
• Abstract（参考訳）: ドメインアライメントは現在、教師なしのドメイン適応タスクの最も一般的なソリューションであり、しばしばターゲットドメインにおけるリスクに関する理論上の上限の最小化として提示される。 しかし、さらなる研究により、理論と実践の間に深刻な不備が明らかになった:我々はこの分析を集約し、特徴にドメインの不分散を課すことは、低いターゲットリスクを得るのに必要でも十分でもないことを確認した。 モデル事前学習やエンコーダアーキテクチャの設計など、一般的なプラクティスで見られる隠れた帰納的バイアスに大きく依存している、と我々は主張する。 一般的なベンチマークや合成トランスファーについて様々なアブレーション実験を行い,原型的状況におけるその役割を明らかにした。 分析を結論づけるため,我々は,特定の伝達を解き,手作りのヒューリスティックよりも優れた性能を示すために,メタリアンのパラメトリックインダクティブバイアスを提案する。

関連論文リスト

• Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
  我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。 この定式化の下では、外挿問題を潜在変数識別問題にキャストする。 この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-01-15T21:29:29Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Towards Context-Aware Domain Generalization: Understanding the Benefits and Limits of Marginal Transfer Learning [1.5320861212113897]
  我々は、コンテキストの概念をデータポイントの集合の置換不変表現として定式化する。 経験的分析により、我々の基準は好ましくないシナリオと好ましくないシナリオの両方を識別するのに有効であることが示された。
  論文  参考訳（メタデータ） (2023-12-15T05:18:07Z)
• Cross Contrasting Feature Perturbation for Domain Generalization [11.863319505696184]
  ドメインの一般化は、目に見えないターゲットドメインをうまく一般化するソースドメインから堅牢なモデルを学ぶことを目的としています。 近年の研究では、ソースドメインに相補的な分布を多様化するための新しいドメインサンプルや特徴の生成に焦点が当てられている。 ドメインシフトをシミュレートするオンラインワンステージクロスコントラスト機能摂動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-24T03:27:41Z)
• Theoretical Guarantees for Domain Adaptation with Hierarchical Optimal Transport [0.0]
  ドメイン適応は統計学習理論において重要な問題として生じる。 近年の進歩は、領域適応アルゴリズムの成功は、ソースとターゲット領域の確率分布のばらつきを最小限に抑える能力に大きく依存していることを示している。 階層的最適輸送によるドメイン適応のための新しい理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-24T15:34:09Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning to Learn Single Domain Generalization [18.72451358284104]
  本稿では,このアウト・オブ・ディストリビューション(OOD)一般化問題を解くために,逆領域拡張という新しい手法を提案する。 鍵となる考え方は、敵の訓練を活用して「現実的」だが「混み合う」人口を作り出すことである。 高速で望ましいドメイン拡張を容易にするため、メタラーニング方式でモデルトレーニングを行い、Wasserstein Auto-Encoder (WAE) を用いて、広く使われている最悪のケース制約を緩和する。
  論文  参考訳（メタデータ） (2020-03-30T04:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。