論文の概要: Exploring Structured Semantic Priors Underlying Diffusion Score for Test-time Adaptation

• arxiv url: http://arxiv.org/abs/2501.00873v1
• Date: Wed, 01 Jan 2025 15:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:15:43.531028
• Title: Exploring Structured Semantic Priors Underlying Diffusion Score for Test-time Adaptation
• Title（参考訳）: テスト時間適応のための拡散スコアに基づく構造的セマンティック事前探索
• Authors: Mingjia Li, Shuang Li, Tongrui Su, Longhui Yuan, Jian Liang, Wei Li,
• Abstract要約: この研究は、スコアベース生成モデル内の隠された意味構造を開示し、それらのポテンシャルを効果的な識別的前駆体として明らかにする。 理論的な知見から着想を得たDUSAは,拡散スコアに基づく構造的セマンティックオーダを利用する。 我々は,様々なテスト時間シナリオに対して,幅広い競争性事前学習判別モデルを適用する上で,DUSAの有効性を実証する。
• 参考スコア（独自算出の注目度）: 39.69627740545377
• License:
• Abstract: Capitalizing on the complementary advantages of generative and discriminative models has always been a compelling vision in machine learning, backed by a growing body of research. This work discloses the hidden semantic structure within score-based generative models, unveiling their potential as effective discriminative priors. Inspired by our theoretical findings, we propose DUSA to exploit the structured semantic priors underlying diffusion score to facilitate the test-time adaptation of image classifiers or dense predictors. Notably, DUSA extracts knowledge from a single timestep of denoising diffusion, lifting the curse of Monte Carlo-based likelihood estimation over timesteps. We demonstrate the efficacy of our DUSA in adapting a wide variety of competitive pre-trained discriminative models on diverse test-time scenarios. Additionally, a thorough ablation study is conducted to dissect the pivotal elements in DUSA. Code is publicly available at https://github.com/BIT-DA/DUSA.
• Abstract（参考訳）: 生成モデルと差別モデルの相補的な利点を活かすことは、成長する研究機関に支えられた機械学習において、常に魅力的なビジョンであった。 この研究は、スコアベース生成モデル内の隠された意味構造を開示し、それらのポテンシャルを効果的な識別的前駆体として明らかにする。 提案手法は,画像分類器や高密度予測器の試験時間適応を容易にするために,拡散スコアに基づく構造的セマンティック先行値を活用するためのDUSAを提案する。 特に、DUSAは拡散を認知する単一の時間ステップから知識を抽出し、モンテカルロをベースとした確率推定の呪いを解き放つ。 我々は,様々なテスト時間シナリオに対して,幅広い競争性事前学習判別モデルを適用する上で,DUSAの有効性を実証する。 さらに、DUSAの主成分を解明するために、徹底的なアブレーション研究を行った。 コードはhttps://github.com/BIT-DA/DUSAで公開されている。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models [20.88680592729709]
  本稿では,視覚言語モデルの試験時間適応のためのバックプロパゲーションフリーアルゴリズムBaFTAを提案する。 BaFTAは、投影された埋め込み空間内のオンラインクラスタリングを使用して、クラスセントロイドを直接推定する。 我々は,BaFTAが最先端の試験時間適応手法を効率と効率の両方で一貫して上回っていることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T08:16:24Z)
• A Lost Opportunity for Vision-Language Models: A Comparative Study of Online Test-Time Adaptation for Vision-Language Models [3.0495235326282186]
  ディープラーニングでは、分散シフトに対する堅牢性を維持することが重要です。 この研究は、視覚言語基礎モデルをテスト時に適用するための幅広い可能性を探究する。
  論文  参考訳（メタデータ） (2024-05-23T18:27:07Z)
• Model Will Tell: Training Membership Inference for Diffusion Models [15.16244745642374]
  トレーニングメンバーシップ推論(TMI)タスクは、ターゲットモデルのトレーニングプロセスで特定のサンプルが使用されているかどうかを判断することを目的としている。 本稿では,拡散モデル内における本質的な生成先行情報を活用することで,TMIタスクの新たな視点を探求する。
  論文  参考訳（メタデータ） (2024-03-13T12:52:37Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
  視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。 目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。 本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
  論文  参考訳（メタデータ） (2022-09-10T19:04:40Z)
• Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
  本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。 表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
  論文  参考訳（メタデータ） (2022-08-31T08:18:44Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。