論文の概要: Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment

• arxiv url: http://arxiv.org/abs/2406.04295v1
• Date: Thu, 6 Jun 2024 17:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:30:41.752515
• Title: Everything to the Synthetic: Diffusion-driven Test-time Adaptation via Synthetic-Domain Alignment
• Title（参考訳）: 合成へのすべて: 拡散駆動型テスト時間適応の合成-ドメインアライメント
• Authors: Jiayi Guo, Junhao Zhao, Chunjiang Ge, Chaoqun Du, Zanlin Ni, Shiji Song, Humphrey Shi, Gao Huang,
• Abstract要約: テスト時間適応(TTA)は、未知のシフト対象ドメインでテストする場合、ソースドメイン事前訓練モデルの性能を向上させることを目的としている。 従来のTTA手法は、主にターゲットデータストリームに基づいてモデルの重みを適応し、ターゲットデータの量と順序に敏感なモデル性能を実現する。 最近の拡散駆動型TTA法は非条件拡散モデルを用いて強い性能を示した。
• 参考スコア（独自算出の注目度）: 76.44483062571611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) aims to enhance the performance of source-domain pretrained models when tested on unknown shifted target domains. Traditional TTA methods primarily adapt model weights based on target data streams, making model performance sensitive to the amount and order of target data. Recently, diffusion-driven TTA methods have demonstrated strong performance by using an unconditional diffusion model, which is also trained on the source domain to transform target data into synthetic data as a source domain projection. This allows the source model to make predictions without weight adaptation. In this paper, we argue that the domains of the source model and the synthetic data in diffusion-driven TTA methods are not aligned. To adapt the source model to the synthetic domain of the unconditional diffusion model, we introduce a Synthetic-Domain Alignment (SDA) framework to fine-tune the source model with synthetic data. Specifically, we first employ a conditional diffusion model to generate labeled samples, creating a synthetic dataset. Subsequently, we use the aforementioned unconditional diffusion model to add noise to and denoise each sample before fine-tuning. This process mitigates the potential domain gap between the conditional and unconditional models. Extensive experiments across various models and benchmarks demonstrate that SDA achieves superior domain alignment and consistently outperforms existing diffusion-driven TTA methods. Our code is available at https://github.com/SHI-Labs/Diffusion-Driven-Test-Time-Adaptation-via-Synthetic-Domain-Alignment.
• Abstract（参考訳）: テスト時間適応(TTA)は、未知のシフト対象ドメインでテストする場合、ソースドメイン事前訓練モデルの性能を向上させることを目的としている。 従来のTTA手法は、主にターゲットデータストリームに基づいてモデルの重みを適応し、ターゲットデータの量と順序に敏感なモデル性能を実現する。 近年、拡散駆動型TTA法は、ソース領域上で訓練された非条件拡散モデルを用いて、ターゲットデータをソース領域投影として合成データに変換することにより、強い性能を示す。 これにより、ソースモデルは重量適応なしに予測できる。 本稿では,拡散駆動型TTA法におけるソースモデルと合成データの領域が一致していないことを論じる。 非条件拡散モデルの合成領域にソースモデルを適応させるために、合成データを用いてソースモデルを微調整するSDA(Synthetic-Domain Alignment)フレームワークを導入する。 具体的には、まず条件付き拡散モデルを用いてラベル付きサンプルを生成し、合成データセットを作成する。 その後、前述の非条件拡散モデルを用いて、微調整前に各サンプルにノイズを付加し、ノイズを消音する。 このプロセスは条件付きモデルと条件なしモデルの間の潜在的な領域ギャップを緩和する。 様々なモデルやベンチマークにわたる大規模な実験により、SDAは優れたドメインアライメントを実現し、既存の拡散駆動型TTA法より一貫して優れていることが示された。 私たちのコードはhttps://github.com/SHI-Labs/Diffusion-Driven-Test-Adaptation-via-Synthetic-Domain-Alignmentで利用可能です。

関連論文リスト

• Efficient Differentially Private Fine-Tuning of Diffusion Models [15.71777343534365]
  DP-SGDによる微調整された大規模な拡散モデルは、メモリ使用量や計算量の観点から非常にリソース需要が高い。 本研究では,低次元適応(LoDA)と微分プライバシーを用いた拡散モデルの高効率微調整(PEFT)について検討する。 ソースコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2024-06-07T21:00:20Z)
• Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
  本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2024-03-11T14:07:53Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Target to Source: Guidance-Based Diffusion Model for Test-Time Adaptation [8.695439655048634]
  データシフトを克服するために,新しいガイダンスベース拡散駆動適応法(GDDA)を提案する。 GDDAは最先端のベースラインよりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-12-08T02:31:36Z)
• Transcending Domains through Text-to-Image Diffusion: A Source-Free Approach to Domain Adaptation [6.649910168731417]
  ドメイン適応(ドメイン適応、Domain Adaptation、DA)は、アノテートデータが不十分なターゲットドメインにおけるモデルの性能を高める方法である。 本研究では,対象領域のサンプルに基づいてトレーニングしたテキスト・ツー・イメージ拡散モデルを用いて,ソースデータを生成する新しいSFDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T23:38:17Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
  テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。 代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
  論文  参考訳（メタデータ） (2022-07-07T17:14:10Z)
• Domain Adaptation without Source Data [20.64875162351594]
  センシティブな情報を含む可能性のあるソースデータへのアクセスを避けるために、ソースデータフリードメイン適応(SFDA)を導入します。 私たちのキーとなるアイデアは、ソースドメインから事前トレーニングされたモデルを活用し、ターゲットモデルを段階的に自己学習的に更新することです。 我々のPrDAは、ベンチマークデータセットにおける従来のドメイン適応手法よりも優れています。
  論文  参考訳（メタデータ） (2020-07-03T07:21:30Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。