論文の概要: Scaling Up Temporal Domain Generalization via Temporal Experts Averaging

• arxiv url: http://arxiv.org/abs/2509.26045v1
• Date: Tue, 30 Sep 2025 10:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.506806
• Title: Scaling Up Temporal Domain Generalization via Temporal Experts Averaging
• Title（参考訳）: 時間エキスパートによる時間領域の一般化のスケールアップ
• Authors: Aoming Liu, Kevin Miller, Venkatesh Saligrama, Kate Saenko, Boqing Gong, Ser-Nam Lim, Bryan A. Plummer,
• Abstract要約: 時間領域の一般化は、時間的変化などの時間的分布シフトを一般化することを目的としている。 本稿では, 時間的エキスパート平均化(TEA)を提案する。これは, 一般化ポテンシャルを最大化するために, 重量平均化を用いてモデル全体を更新する, 新しくスケーラブルなTDGフレームワークである。 従来のTDG法では最大69%,効率は最大60倍であった。
• 参考スコア（独自算出の注目度）: 108.44248708602221
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal Domain Generalization (TDG) aims to generalize across temporal distribution shifts, e.g., lexical change over time. Prior work often addresses this by predicting future model weights. However, full model prediction is prohibitively expensive for even reasonably sized models. Thus, recent methods only predict the classifier layer, limiting generalization by failing to adjust other model components. To address this, we propose Temporal Experts Averaging (TEA), a novel and scalable TDG framework that updates the entire model using weight averaging to maximize generalization potential while minimizing computational costs. Our theoretical analysis guides us to two steps that enhance generalization to future domains. First, we create expert models with functional diversity yet parameter similarity by fine-tuning a domain-agnostic base model on individual temporal domains while constraining weight changes. Second, we optimize the bias-variance tradeoff through adaptive averaging coefficients derived from modeling temporal weight trajectories in a principal component subspace. Expert's contributions are based on their projected proximity to future domains. Extensive experiments across 7 TDG benchmarks, 5 models, and 2 TDG settings shows TEA outperforms prior TDG methods by up to 69% while being up to 60x more efficient.
• Abstract（参考訳）: 時間領域一般化(TDG)は、時間的変化など、時間的分布シフトをまたいで一般化することを目的としている。 以前の研究はしばしば、将来のモデルの重みを予測することによってこの問題に対処する。 しかし、完全なモデル予測は、たとえ合理的な大きさのモデルであっても、違法に高価である。 したがって、最近の手法は分類器層のみを予測し、他のモデルコンポーネントの調整に失敗して一般化を制限する。 計算コストを最小化しつつ、一般化ポテンシャルを最大化するために、ウェイト平均化を用いてモデル全体を更新する、新しくスケーラブルなTDGフレームワークであるテンポラルエキスパート平均化(TEA)を提案する。 理論的解析により、将来の領域への一般化を促進する2つのステップが導かれる。 まず、各時間領域のドメインに依存しないベースモデルを微調整し、重み変化を制限し、機能的多様性を持つパラメータ類似性を持つ専門家モデルを作成する。 第2に、主成分部分空間における時間重み軌跡のモデル化から導かれる適応平均係数を用いてバイアス分散トレードオフを最適化する。 エキスパートの貢献は、将来のドメインに近づいた計画に基づいている。 7つのTDGベンチマーク、5つのモデル、2つのTDG設定による大規模な実験では、TAAは60倍の効率で、以前のTDGメソッドよりも69%優れていた。

関連論文リスト

• Class-invariant Test-Time Augmentation for Domain Generalization [16.001258672237267]
  ドメインの一般化は、モデルが見えないドメインに一般化するのに役立ちます。 従来のアプローチのほとんどは、マルチドメインのトレーニングや、計算集約的なテスト時間適応に依存していた。 テスト時間の軽量化という,補完的な戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-17T20:42:23Z)
• Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
  ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。 近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。 我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
  論文  参考訳（メタデータ） (2024-07-21T07:50:49Z)
• Domain Generalization Guided by Large-Scale Pre-Trained Priors [24.74398777539288]
  ドメイン一般化(DG)は、限られたソースドメインからモデルをトレーニングすることを目的としており、未知のターゲットドメインに一般化することができる。 大規模事前訓練型ファインチューン(FT-LP)について紹介する。 FT-LPは、事前訓練されたモデルをDG微調整プロセスに前もって組み込んで、各最適化ステップで事前訓練されたモデルを参照することを保証する。
  論文  参考訳（メタデータ） (2024-06-09T03:32:32Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
  本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。 スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
  論文  参考訳（メタデータ） (2022-08-30T09:09:43Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Domain Generalization using Pretrained Models without Fine-tuning [25.489714555859944]
  微調整事前訓練モデルは、ドメイン一般化(DG)タスクにおいて一般的なプラクティスである。 ドメイン一般化のための特別アンサンブル学習(SEDGE)という,様々な事前学習モデルを活用するための新しいドメイン一般化パラダイムを提案する。 SEDGEは、DGタスクの最先端メソッドを含む強力なベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-03-09T09:33:59Z)
• Learning to Generate Novel Domains for Domain Generalization [115.21519842245752]
  本稿では,未知の領域によく一般化するモデルとして,複数のソースドメインから学習するタスクに焦点を当てる。 我々は、擬似ノーベル領域からデータを合成し、ソースドメインを増強するためにデータジェネレータを用いる。 我々の手法であるL2A-OTは、4つのベンチマークデータセット上で現在最先端のDG手法より優れています。
  論文  参考訳（メタデータ） (2020-07-07T09:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。