論文の概要: Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2302.01497v1
• Date: Fri, 3 Feb 2023 02:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 17:51:12.030713
• Title: Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained Models
• Title（参考訳）: 事前学習モデルを用いた領域リスク最小化のための勾配推定
• Authors: Byunggyu Lew, Donghyun Son, Buru Chang
• Abstract要約: 本研究では、観測不能な勾配を推定し、目に見えない領域の潜在的なリスクを低減する新しい領域一般化法を提案する。 提案手法は,ドメイン一般化の標準ベンチマークであるDomainBed上でのベースライン手法よりも優れている。
• 参考スコア（独自算出の注目度）: 5.6957663958715115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization aims to build generalized models that perform well on unseen domains when only source domains are available for model optimization. Recent studies have demonstrated that large-scale pre-trained models could play an important role in domain generalization by providing their generalization power. However, large-scale pre-trained models are not fully equipped with target task-specific knowledge due to a discrepancy between the pre-training objective and the target task. Although the task-specific knowledge could be learned from source domains by fine-tuning, this hurts the generalization power of the pre-trained models because of gradient bias toward the source domains. To address this issue, we propose a new domain generalization method that estimates unobservable gradients that reduce potential risks in unseen domains, using a large-scale pre-trained model. Our proposed method allows the pre-trained model to learn task-specific knowledge further while preserving its generalization ability with the estimated gradients. Experimental results show that our proposed method outperforms baseline methods on DomainBed, a standard benchmark in domain generalization. We also provide extensive analyses to demonstrate that the estimated unobserved gradients relieve the gradient bias, and the pre-trained model learns the task-specific knowledge without sacrificing its generalization power.
• Abstract（参考訳）: ドメインの一般化は、モデル最適化のためにソースドメインのみが利用できる場合に、見えないドメインでうまく機能する一般化されたモデルを構築することを目的としています。 近年の研究では、大規模事前学習モデルがその一般化力を提供することで領域一般化において重要な役割を果たすことが示されている。 しかし, 大規模事前学習モデルでは, 事前学習対象と対象課題との差異から, 対象タスク固有の知識を十分に備えていない。 タスク固有の知識は微調整によってソースドメインから学べるが、ソースドメインに対する勾配バイアスのため、事前学習されたモデルの一般化能力は損なわれる。 この問題に対処するために, 大規模事前学習モデルを用いて, 観測不能な勾配を推定し, 潜在リスクを低減させる新しい領域一般化法を提案する。 提案手法により,事前学習したモデルは,その一般化能力と推定勾配を保ちながら,タスク固有の知識をさらに学習することができる。 実験の結果,提案手法はドメイン一般化の標準ベンチマークであるdomainbedのベースラインメソッドよりも優れていた。 また, 推定された非観測勾配が勾配バイアスを緩和し, 事前学習したモデルが一般化力を犠牲にすることなくタスク固有の知識を学習することを示す。

関連論文リスト

• Domain Generalization Guided by Large-Scale Pre-Trained Priors [24.74398777539288]
  ドメイン一般化(DG)は、限られたソースドメインからモデルをトレーニングすることを目的としており、未知のターゲットドメインに一般化することができる。 大規模事前訓練型ファインチューン(FT-LP)について紹介する。 FT-LPは、事前訓練されたモデルをDG微調整プロセスに前もって組み込んで、各最適化ステップで事前訓練されたモデルを参照することを保証する。
  論文  参考訳（メタデータ） (2024-06-09T03:32:32Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• Not to Overfit or Underfit? A Study of Domain Generalization in Question Answering [18.22045610080848]
  機械学習モデルは、ソース(トレーニング)の分布を過度に適合させる傾向がある。 本稿では、マルチソース領域一般化(DG)は、実際に、ソースドメインの未適合性を緩和する問題である、という対照的な見解を考察する。
  論文  参考訳（メタデータ） (2022-05-15T10:53:40Z)
• Domain Generalization using Pretrained Models without Fine-tuning [25.489714555859944]
  微調整事前訓練モデルは、ドメイン一般化(DG)タスクにおいて一般的なプラクティスである。 ドメイン一般化のための特別アンサンブル学習(SEDGE)という,様々な事前学習モデルを活用するための新しいドメイン一般化パラダイムを提案する。 SEDGEは、DGタスクの最先端メソッドを含む強力なベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-03-09T09:33:59Z)
• Debiased Batch Normalization via Gaussian Process for Generalizable Person Re-Identification [84.32086702849338]
  一般化可能な人物再識別は、見知らぬ領域でうまく機能するラベル付きソースドメインのみを持つモデルを学ぶことを目的としている。 一般化可能な人物識別のためのガウスプロセスアプローチ(GDNorm)によるデバイアスドバッチ正規化を提案する。
  論文  参考訳（メタデータ） (2022-03-03T14:14:51Z)
• Towards Data-Free Domain Generalization [12.269045654957765]
  異なるソースデータドメインでトレーニングされたモデルに含まれる知識は、どのようにして単一のモデルにマージされるのか? 以前のドメインの一般化手法は、典型的にはソースドメインデータの使用に依存しており、プライベートな分散データには適さない。 DeKANは、利用可能な教師モデルからドメイン固有の知識を抽出し、融合し、ドメインシフトに頑健な学生モデルに変換するアプローチである。
  論文  参考訳（メタデータ） (2021-10-09T11:44:05Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。