論文の概要: Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent

• arxiv url: http://arxiv.org/abs/2106.06080v1
• Date: Thu, 10 Jun 2021 22:47:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:33:28.459136
• Title: Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent
• Title（参考訳）: 野生における経時的ドメイン適応:中間分布が欠如している場合
• Authors: Samira Abnar, Rianne van den Berg, Golnaz Ghiasi, Mostafa Dehghani, Nal Kalchbrenner, Hanie Sedghi
• Abstract要約: 目標が目標分布に向かってモデルをシフトさせる場合、ドメイン適応の問題に焦点をあてる。 本稿では,ソース領域とターゲット領域の例を補間することで,中間分布から仮想サンプルを作成するGIFTを提案する。
• 参考スコア（独自算出の注目度）: 32.906658998929394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on the problem of domain adaptation when the goal is shifting the model towards the target distribution, rather than learning domain invariant representations. It has been shown that under the following two assumptions: (a) access to samples from intermediate distributions, and (b) samples being annotated with the amount of change from the source distribution, self-training can be successfully applied on gradually shifted samples to adapt the model toward the target distribution. We hypothesize having (a) is enough to enable iterative self-training to slowly adapt the model to the target distribution, by making use of an implicit curriculum. In the case where (a) does not hold, we observe that iterative self-training falls short. We propose GIFT, a method that creates virtual samples from intermediate distributions by interpolating representations of examples from source and target domains. We evaluate an iterative-self-training method on datasets with natural distribution shifts, and show that when applied on top of other domain adaptation methods, it improves the performance of the model on the target dataset. We run an analysis on a synthetic dataset to show that in the presence of (a) iterative-self-training naturally forms a curriculum of samples. Furthermore, we show that when (a) does not hold, GIFT performs better than iterative self-training.
• Abstract（参考訳）: ドメイン不変表現を学習するのではなく、目標がターゲット分布にモデルをシフトする場合に、ドメイン適応の問題に焦点を当てる。 a)中間分布からのサンプルへのアクセス、および(b)ソース分布からの変化量にアノテートされたサンプルの2つの仮定の下で、徐々にシフトしたサンプルに対して、自己学習をうまく適用し、モデルがターゲット分布に適応できることが示されている。 a) 反復的な自己学習によって、暗黙のカリキュラムを利用することで、モデルがターゲットの分布にゆっくりと適応できる、と仮定する。 a)が持たない場合、反復的な自己学習が不足するのを観察する。 本稿では,ソース領域とターゲット領域の例を補間することで,中間分布から仮想サンプルを作成するGIFTを提案する。 自然分布シフトのあるデータセットに対する反復自己学習手法の評価を行い、他のドメイン適応手法に応用すると、ターゲットデータセット上でのモデルの性能が向上することを示す。 a)反復的自己学習の存在下では、自然にサンプルのカリキュラムを形成することを示すために、合成データセットの分析を行う。 さらに, (a) が保持されない場合, GIFT は反復的自己学習よりも優れることを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Universality in Transfer Learning for Linear Models [18.427215139020625]
  回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。 我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Energy-Based Test Sample Adaptation for Domain Generalization [81.04943285281072]
  そこで本研究では,ドメインの試験時間におけるエネルギーに基づくサンプル適応を提案する。 対象試料をソース分布に適応させるため,エネルギー最小化により反復的に試料を更新する。 画像とマイクロブログスレッドの分類のための6つのベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-22T08:55:09Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Incremental Unsupervised Domain-Adversarial Training of Neural Networks [17.91571291302582]
  教師付き統計学習の文脈では通常、トレーニングセットはテストサンプルを描画する同じ分布から来ていると仮定される。 ここでは、モデルが新しいドメインに反復的に適応される段階的な視点から、別の道を選び、問題にアプローチします。 その結果,いくつかのデータセットにおける非増加事例に対する明らかな改善が報告され,他の最先端のドメイン適応アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-01-13T09:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。