論文の概要: Boosting Domain Incremental Learning: Selecting the Optimal Parameters is All You Need

• arxiv url: http://arxiv.org/abs/2505.23744v1
• Date: Thu, 29 May 2025 17:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.075265
• Title: Boosting Domain Incremental Learning: Selecting the Optimal Parameters is All You Need
• Title（参考訳）: ドメイン増分学習の促進:最適なパラメータの選択は必要なすべて
• Authors: Qiang Wang, Xiang Song, Yuhang He, Jizhou Han, Chenhao Ding, Xinyuan Gao, Yihong Gong,
• Abstract要約: ドメインインクリメンタルラーニング(DIL)は、連続的なモデル適応を可能にするソリューションを提供する。 既存のPIDILメソッドは、ドメインの数と対応するクラスが増加するにつれてパラメータ選択の精度に悩まされる。 PIDILにおけるドメイン選択を改善する軽量フレームワークSOYOを提案する。
• 参考スコア（独自算出の注目度）: 25.45880299215022
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) often underperform in real-world, dynamic settings where data distributions change over time. Domain Incremental Learning (DIL) offers a solution by enabling continual model adaptation, with Parameter-Isolation DIL (PIDIL) emerging as a promising paradigm to reduce knowledge conflicts. However, existing PIDIL methods struggle with parameter selection accuracy, especially as the number of domains and corresponding classes grows. To address this, we propose SOYO, a lightweight framework that improves domain selection in PIDIL. SOYO introduces a Gaussian Mixture Compressor (GMC) and Domain Feature Resampler (DFR) to store and balance prior domain data efficiently, while a Multi-level Domain Feature Fusion Network (MDFN) enhances domain feature extraction. Our framework supports multiple Parameter-Efficient Fine-Tuning (PEFT) methods and is validated across tasks such as image classification, object detection, and speech enhancement. Experimental results on six benchmarks demonstrate SOYO's consistent superiority over existing baselines, showcasing its robustness and adaptability in complex, evolving environments. The codes will be released in https://github.com/qwangcv/SOYO.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、データ分散が時間とともに変化する、現実的な動的設定において、パフォーマンスが劣ることが多い。 ドメインインクリメンタルラーニング(ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、ドメインインクリメンタルラーニング、DIL)は、モデルアプリメンテーションを可能にするソリューションを提供する。 しかし、既存のPIDIL法は、特にドメインの数と対応するクラスが増加するにつれて、パラメータ選択の精度に苦慮している。 そこで本研究では,PIDILにおけるドメイン選択を改善する軽量フレームワークSOYOを提案する。 SOYOは、ドメインデータの保存とバランスを効率的に行うために、Gaussian Mixture Compressor(GMC)とDomain Feature Resampler(DFR)を導入し、Multi-level Domain Feature Fusion Network(MDFN)はドメインの特徴抽出を強化する。 提案フレームワークは,複数のパラメータ効率の良いファインチューニング(PEFT)手法をサポートし,画像分類,オブジェクト検出,音声強調などのタスクにまたがって検証を行う。 6つのベンチマークの実験結果は、SOYOが既存のベースラインよりも一貫した優位性を示し、複雑な進化環境における堅牢性と適応性を示している。 コードはhttps://github.com/qwangcv/SOYOで公開される。

関連論文リスト

• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Dynamic Prompt Allocation and Tuning for Continual Test-Time Adaptation [29.931721498877483]
  連続的テスト時間適応(CTTA)は、最近、継続的に進行するターゲット分布に適応するために出現している。 既存の手法は通常、モデルパラメータの変動を制限するために明示的な正規化項を含む。 学習可能なドメイン固有のプロンプトを導入し、モデルが対応する対象ドメインに適応するように誘導する。
  論文  参考訳（メタデータ） (2024-12-12T14:24:04Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• DPCore: Dynamic Prompt Coreset for Continual Test-Time Adaptation [11.151967974753925]
  Continuousal Test-Time Adaptation (CTTA)は、ソーストレーニング済みのモデルを、継続的に変更され、目に見えないターゲットドメインに適応させることを目指している。 DPCoreは、さまざまなドメイン変更パターンをまたいだ堅牢なパフォーマンスを実現するために設計されたメソッドである。
  論文  参考訳（メタデータ） (2024-06-15T20:47:38Z)
• Agile Multi-Source-Free Domain Adaptation [25.06352660046911]
  Bi-level Attention ENsemble (Bi-ATEN)モジュールは、ドメイン内の重みとドメイン間のアンサンブル重みの両方を学習し、インスタンス特異性とドメイン整合性の微妙なバランスを達成する。 3%未満のトレーニングパラメータと8倍のスループットを持つ、挑戦的なベンチマークであるDomainNetでは、SOTA法と比較して、同等あるいは優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-03-08T05:17:10Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• TDACNN: Target-domain-free Domain Adaptation Convolutional Neural Network for Drift Compensation in Gas Sensors [6.451060076703026]
  本稿では,ターゲットドメインレスドメイン適応畳み込みニューラルネットワーク(TDACNN)に基づくディープラーニングを提案する。 主な概念は、CNNがサンプルのドメイン固有の特徴を抽出するだけでなく、ソースドメインとターゲットドメインの両方の基礎となるドメイン不変の特徴も抽出することである。 異なる設定下でドリフトする2つのデータセットの実験は、いくつかの最先端手法と比較してTDACNNの優位性を示している。
  論文  参考訳（メタデータ） (2021-10-14T16:30:17Z)
• ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation [111.56730703473411]
  LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。 シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。 ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2020-09-07T23:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。