論文の概要: GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts

• arxiv url: http://arxiv.org/abs/2502.12195v1
• Date: Sat, 15 Feb 2025 10:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:32.317643
• Title: GeneralizeFormer: Layer-Adaptive Model Generation across Test-Time Distribution Shifts
• Title（参考訳）: GeneralizeFormer: テスト時間分散シフトを越えた層適応モデル生成
• Authors: Sameer Ambekar, Zehao Xiao, Xiantong Zhen, Cees G. M. Snoek,
• Abstract要約: テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。 textitGeneralizeFormer と呼ばれる軽量メタ学習変換器を用いて,推論中に複数の層パラメータを生成することを提案する。
• 参考スコア（独自算出の注目度）: 58.95913531746308
• License:
• Abstract: We consider the problem of test-time domain generalization, where a model is trained on several source domains and adjusted on target domains never seen during training. Different from the common methods that fine-tune the model or adjust the classifier parameters online, we propose to generate multiple layer parameters on the fly during inference by a lightweight meta-learned transformer, which we call \textit{GeneralizeFormer}. The layer-wise parameters are generated per target batch without fine-tuning or online adjustment. By doing so, our method is more effective in dynamic scenarios with multiple target distributions and also avoids forgetting valuable source distribution characteristics. Moreover, by considering layer-wise gradients, the proposed method adapts itself to various distribution shifts. To reduce the computational and time cost, we fix the convolutional parameters while only generating parameters of the Batch Normalization layers and the linear classifier. Experiments on six widely used domain generalization datasets demonstrate the benefits and abilities of the proposed method to efficiently handle various distribution shifts, generalize in dynamic scenarios, and avoid forgetting.
• Abstract（参考訳）: テスト時間領域の一般化の問題は、モデルが複数のソースドメインで訓練され、トレーニング中に見たことのないターゲットドメインで調整される場合である。 モデルを微調整したり、オンラインで分類子パラメータを調整したりする一般的な方法とは違って、軽量なメタ学習変換器によって推論中に複数の層パラメータを生成することを提案し、それを \textit{GeneralizeFormer} と呼ぶ。 レイヤーワイズパラメータは、微調整やオンライン調整なしに、ターゲットバッチ毎に生成される。 これにより,本手法は複数のターゲット分布を持つ動的シナリオにおいてより効果的であり,また,貴重なソース分布特性を忘れることを避けることができる。 さらに,レイヤワイド勾配を考慮し,様々な分布シフトに適応する手法を提案する。 計算と時間コストを削減するため、バッチ正規化層と線形分類器のパラメータのみを生成しながら畳み込みパラメータを固定する。 6つの広く使われている領域一般化データセットの実験は、様々な分散シフトを効率的に処理し、動的シナリオを一般化し、忘れることを避けるために提案手法の利点と能力を示す。

関連論文リスト

• pFedGPA: Diffusion-based Generative Parameter Aggregation for Personalized Federated Learning [23.43592558078981]
  フェデレートラーニング(FL)は、データをローカルに保持し、モデルパラメータのみをクライアントと中央サーバ間で共有する、モデルトレーニングのための分散アプローチを提供する。 フェデレート平均化(FedAvg)のような従来の手法は、これらのパラメータを線形に集約する。 パーソナライズされたFL, textttpFedGPAのための新しい生成パラメータ集約フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-09T15:13:56Z)
• Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features [37.518025833882334]
  Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。 これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。 本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:22:10Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Style Interleaved Learning for Generalizable Person Re-identification [69.03539634477637]
  DG ReIDトレーニングのための新しいスタイルインターリーブラーニング(IL)フレームワークを提案する。 従来の学習戦略とは異なり、ILには2つの前方伝播と1つの後方伝播が組み込まれている。 我々のモデルはDG ReIDの大規模ベンチマークにおいて最先端の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-07T07:41:32Z)
• A Prototype-Oriented Framework for Unsupervised Domain Adaptation [52.25537670028037]
  メモリと計算効率のよい確率的フレームワークを提供し、クラスプロトタイプを抽出し、ターゲットとなる特徴をそれらと整合させる。 本稿では,単一ソース,マルチソース,クラス不均衡,ソースプライベートドメイン適応など,幅広いシナリオにおいて,本手法の汎用性を実証する。
  論文  参考訳（メタデータ） (2021-10-22T19:23:22Z)
• Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters [5.319361976450981]
  フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。 現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。 本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。