論文の概要: Energy-based Preference Optimization for Test-time Adaptation

• arxiv url: http://arxiv.org/abs/2505.19607v1
• Date: Mon, 26 May 2025 07:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.240211
• Title: Energy-based Preference Optimization for Test-time Adaptation
• Title（参考訳）: テスト時間適応のためのエネルギーベース予測最適化
• Authors: Yewon Han, Seoyun Yang, Taesup Kim,
• Abstract要約: テスト時間適応(TTA)アプローチは条件分布の調整に重点を置いている。 これらの手法はラベル情報の欠如による不確実な予測に依存することが多く、信頼性の低い性能をもたらす。 エネルギーベースのフレームワークは、不確実な予測に頼ることなく、ターゲットデータの限界分布を計算し、分散シフトに対処する、有望な代替手段を提案する。
• 参考スコア（独自算出の注目度）: 4.379304291229695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-Time Adaptation (TTA) enhances model robustness by enabling adaptation to target distributions that differ from training distributions, improving real-world generalizability. Existing TTA approaches focus on adjusting the conditional distribution; however these methods often depend on uncertain predictions in the absence of label information, leading to unreliable performance. Energy-based frameworks suggest a promising alternative to address distribution shifts without relying on uncertain predictions, instead computing the marginal distribution of target data. However, they involve the critical challenge of requiring extensive SGLD sampling, which is impractical for test-time scenarios requiring immediate adaptation. In this work, we propose Energy-based Preference Optimization for Test-time Adaptation (EPOTTA), which is based on a sampling free strategy. We first parameterize the target model using a pretrained model and residual energy function, enabling marginal likelihood maximization of target data without sampling. Building on the observation that the parameterization is mathematically equivalent to DPO objective, we then directly adapt the model to a target distribution without explicitly training the residual. Our experiments verify that EPOTTA is well-calibrated and performant while achieving computational efficiency.
• Abstract（参考訳）: テスト時間適応(TTA)は、トレーニング分布とは異なるターゲット分布への適応を可能にすることにより、モデルロバスト性を高め、現実の一般化性を向上させる。 既存のTTA手法は条件分布の調整に重点を置いているが、ラベル情報の欠如による不確実な予測に依存することが多く、信頼性の低い性能をもたらす。 エネルギーベースのフレームワークは、不確実な予測に頼ることなく、ターゲットデータの限界分布を計算し、分散シフトに対処する、有望な代替手段を提案する。 しかし、これらは広範囲なSGLDサンプリングを必要とする重要な課題であり、即時適応を必要とするテスト時のシナリオでは現実的ではない。 本研究では,テスト時間適応のためのエネルギーベース予測最適化(EPOTTA)を提案する。 まず,事前学習モデルと残エネルギー関数を用いて対象モデルをパラメータ化し,サンプリングなしで対象データの限界極大化を可能にする。 パラメータ化がDPOの目的と数学的に等価であるという観察に基づいて、モデルを直接目標分布に適応させる。 実験により,EPOTTAは高い校正と性能を有し,計算効率が向上することを確認した。

関連論文リスト

• COME: Test-time adaption by Conservatively Minimizing Entropy [45.689829178140634]
  保守的に最小化されるエントロピー (COME) は従来のエントロピー (EM) の代替品である COMEはモデル予測よりもディリクレ事前分布を特徴付けることによって、不確実性を明示的にモデル化する。 我々はCOMEが一般的なベンチマークで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-12T09:20:06Z)
• Leveraging free energy in pretraining model selection for improved fine-tuning [4.005483185111992]
  本稿では,下流タスクにおいて,近傍の好ましいパラメータの濃度を測定することで,チェックポイントの適応性を定量化する自由エネルギー基準を提案する。 我々は、自由エネルギー基準が微調整性能の向上と確実に相関しているという実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-08T01:50:21Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction [27.434939269672288]
  我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。 我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。 我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
  論文  参考訳（メタデータ） (2023-12-07T19:40:44Z)
• Energy-Based Test Sample Adaptation for Domain Generalization [81.04943285281072]
  そこで本研究では,ドメインの試験時間におけるエネルギーに基づくサンプル適応を提案する。 対象試料をソース分布に適応させるため,エネルギー最小化により反復的に試料を更新する。 画像とマイクロブログスレッドの分類のための6つのベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-22T08:55:09Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Adaptive Sequential Design for a Single Time-Series [2.578242050187029]
  期待される結果を最適化するために、設計の制御されたコンポーネントの最適かつ未知の選択を学習する。 我々は、時間とともに収集されたデータに基づいて、将来のタイムポイント実験にランダム化機構を適用する。
  論文  参考訳（メタデータ） (2021-01-29T22:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。