論文の概要: Test-time Adaptation for Regression by Subspace Alignment

• arxiv url: http://arxiv.org/abs/2410.03263v2
• Date: Thu, 23 Jan 2025 04:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:48.238785
• Title: Test-time Adaptation for Regression by Subspace Alignment
• Title（参考訳）: 部分空間アライメントによる回帰テスト時間適応
• Authors: Kazuki Adachi, Shin'ya Yamaguchi, Atsutoshi Kumagai, Tomoki Hamagami,
• Abstract要約: 本稿では、ソース領域で事前訓練された回帰モデルを、ラベルなしのターゲットデータを含む未知のターゲット分布に適応させる、回帰のためのテスト時間適応(TTA)について検討する。 回帰のためにTTAを有効にするために、ソースとターゲットドメイン間の特徴分布を整列する特徴アライメントアプローチを採用する。 回帰のためのTTAにおける効果的な特徴アライメントのために、我々は有意部分空間アライメント(SSA)を提案する。
• 参考スコア（独自算出の注目度）: 14.673920883774871
• License:
• Abstract: This paper investigates test-time adaptation (TTA) for regression, where a regression model pre-trained in a source domain is adapted to an unknown target distribution with unlabeled target data. Although regression is one of the fundamental tasks in machine learning, most of the existing TTA methods have classification-specific designs, which assume that models output class-categorical predictions, whereas regression models typically output only single scalar values. To enable TTA for regression, we adopt a feature alignment approach, which aligns the feature distributions between the source and target domains to mitigate the domain gap. However, we found that naive feature alignment employed in existing TTA methods for classification is ineffective or even worse for regression because the features are distributed in a small subspace and many of the raw feature dimensions have little significance to the output. For an effective feature alignment in TTA for regression, we propose Significant-subspace Alignment (SSA). SSA consists of two components: subspace detection and dimension weighting. Subspace detection finds the feature subspace that is representative and significant to the output. Then, the feature alignment is performed in the subspace during TTA. Meanwhile, dimension weighting raises the importance of the dimensions of the feature subspace that have greater significance to the output. We experimentally show that SSA outperforms various baselines on real-world datasets.
• Abstract（参考訳）: 本稿では、ソース領域で事前訓練された回帰モデルを、ラベルなしのターゲットデータを含む未知のターゲット分布に適応させる、回帰のためのテスト時間適応(TTA)について検討する。 回帰は機械学習の基本的なタスクの1つであるが、既存のTTA手法のほとんどは分類固有の設計を持ち、モデルがクラス分類予測を出力するのに対し、回帰モデルは典型的には単一のスカラー値のみを出力する。 回帰のためにTTAを有効にするために、ソースとターゲットドメイン間の特徴分布を整列させてドメインギャップを緩和する機能アライメントアプローチを採用する。 しかし, 従来のTTA手法では, 小部分空間に分散し, 生の特徴次元の多くが出力にはほとんど意味がないため, 特徴アライメントが不有効あるいはさらに悪化することが判明した。 回帰のためのTTAにおける効果的な特徴アライメントとして,SSA(Significant-subspace Alignment)を提案する。 SSAは、部分空間検出と次元重み付けという2つのコンポーネントから構成される。 部分空間検出は、出力に代表的で重要な特徴部分空間を見つける。 そして、TTA中にサブスペースで特徴アライメントを行う。 一方、次元重み付けは出力により大きな意味を持つ特徴部分空間の次元の重要性を高める。 実世界のデータセットにおいて,SSAが様々なベースラインより優れていることを示す。

関連論文リスト

• TRIAGE: Characterizing and auditing training data for improved regression [80.11415390605215]
  TRIAGEは回帰タスクに適した新しいデータキャラクタリゼーションフレームワークで、広範囲の回帰器と互換性がある。 TRIAGEは、共形予測分布を利用して、モデルに依存しないスコアリング方法、TRIAGEスコアを提供する。 TRIAGEの特徴は一貫性があり、複数の回帰設定においてデータの彫刻/フィルタリングによるパフォーマンス向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-29T10:31:59Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Domain Alignment Meets Fully Test-Time Adaptation [24.546705919244936]
  デプロイされたMLモデルの基本的な要件は、トレーニングとは異なるテストディストリビューションから引き出されたデータに一般化することである。 本稿では,元のソースデータへのアクセスを制限した,この問題の難易度に焦点をあてる。 ソースデータ全体にアクセスする必要性を緩和し,UDAとFTTAを橋渡しする新しいアプローチCATTAnを提案する。
  論文  参考訳（メタデータ） (2022-07-09T03:17:19Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Source-Free Adaptation to Measurement Shift via Bottom-Up Feature Restoration [6.9871848733878155]
  ソースフリードメイン適応(Source-free domain adapt, SFDA)は、ソースドメイン内のラベル付きデータに基づいてトレーニングされたモデルを、適応中にソースドメインデータにアクセスすることなく、ターゲットドメイン内の非ラベル付きデータに適応することを目的としている。 提案する特徴回復(FR)は,従来ソースから抽出されていた対象ドメインから,同じ意味を持つ特徴を抽出しようとするものである。 さらに,ネットワークの後半層における学習構造を保存することにより,パフォーマンスを向上させるためのボトムアップ・フィーチャー・リストア(BUFR)を提案する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:14Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Discriminative Noise Robust Sparse Orthogonal Label Regression-based Domain Adaptation [6.61544170496402]
  ドメイン適応(DA)は、ソースドメインから訓練された学習モデルがターゲットドメイン上でうまく一般化できるようにすることを目的としている。 本稿では,非教師付きDA手法,すなわち識別ノイズロバストスパースorthogonal Label Regressionに基づくドメイン適応を提案する。
  論文  参考訳（メタデータ） (2021-01-09T07:10:13Z)
• Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
  本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。 外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
  論文  参考訳（メタデータ） (2020-06-15T11:36:59Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。