論文の概要: CONTRAST: Continual Multi-source Adaptation to Dynamic Distributions

• arxiv url: http://arxiv.org/abs/2401.02561v2
• Date: Thu, 07 Nov 2024 01:28:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-09 00:48:49.543891
• Title: CONTRAST: Continual Multi-source Adaptation to Dynamic Distributions
• Title（参考訳）: CONTRAST: 動的分散への連続的マルチソース適応
• Authors: Sk Miraj Ahmed, Fahim Faisal Niloy, Xiangyu Chang, Dripta S. Raychaudhuri, Samet Oymak, Amit K. Roy-Chowdhury,
• Abstract要約: Continual Multi-source Adaptation to Dynamic Distributions (CONTRAST) は、複数のソースモデルを最適に組み合わせて動的テストデータに適応する新しい手法である。 提案手法は,ソースモデルを最適に組み合わせ,モデル更新の優先順位付けを最小限に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 42.293444710522294
• License:
• Abstract: Adapting to dynamic data distributions is a practical yet challenging task. One effective strategy is to use a model ensemble, which leverages the diverse expertise of different models to transfer knowledge to evolving data distributions. However, this approach faces difficulties when the dynamic test distribution is available only in small batches and without access to the original source data. To address the challenge of adapting to dynamic distributions in such practical settings, we propose Continual Multi-source Adaptation to Dynamic Distributions (CONTRAST), a novel method that optimally combines multiple source models to adapt to the dynamic test data. CONTRAST has two distinguishing features. First, it efficiently computes the optimal combination weights to combine the source models to adapt to the test data distribution continuously as a function of time. Second, it identifies which of the source model parameters to update so that only the model which is most correlated to the target data is adapted, leaving the less correlated ones untouched; this mitigates the issue of ``forgetting" the source model parameters by focusing only on the source model that exhibits the strongest correlation with the test batch distribution. Through theoretical analysis we show that the proposed method is able to optimally combine the source models and prioritize updates to the model least prone to forgetting. Experimental analysis on diverse datasets demonstrates that the combination of multiple source models does at least as well as the best source (with hindsight knowledge), and performance does not degrade as the test data distribution changes over time (robust to forgetting).
• Abstract（参考訳）: 動的データ分散への適応は実用的だが難しい課題である。 1つの効果的な戦略は、さまざまなモデルの多様な専門知識を活用して、知識を進化するデータ分散に転送するモデルアンサンブルを使用することである。 しかし、このアプローチは、動的テスト分布が小さなバッチでのみ利用可能であり、元のソースデータにアクセスできない場合、困難に直面します。 このような実践的な環境での動的分布に適応する課題を解決するために,複数のソースモデルを最適に組み合わせて動的テストデータに適応する新しい手法であるCONTRAST(Continuous Multi-source Adaptation to Dynamic Distributions)を提案する。 CONTRASTには2つの特徴がある。 まず、最適な組み合わせ重み付けを効率よく計算し、ソースモデルを組み合わせることで、テストデータ分布を時間の関数として継続的に適応させる。 第二に、ソースモデルパラメータのどれを更新すべきかを特定し、ターゲットデータと最も相関したモデルのみを適応させ、相関の低いモデルだけを未対応のままにしておく。 理論的解析により,提案手法は最適にソースモデルを組み合わせることができ,モデル更新の優先順位付けを最小限に行うことができることを示す。 多様なデータセットに関する実験的分析により、複数のソースモデルの組み合わせは、少なくとも最高のソース(後見の知識を含む)と同等であり、テストデータ分布が時間とともに変化するため、パフォーマンスは低下しない(忘れることへの悪影響)ことが示されている。

関連論文リスト

• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Parameter-efficient Modularised Bias Mitigation via AdapterFusion [22.424110883305243]
  本稿では,モデルから分離したスタンドアロンデバイアス機能を開発するための新しい手法を提案する。 DAM - まず任意のバイアス緩和機能を個別のアダプタにカプセル化し、それをオンデマンドでモデルに追加するデバイアスのアプローチを紹介します。 以上の結果から,DAMはバイアス軽減の有効性を向上・維持し,マルチ属性シナリオでの忘れを回避し,タスク性能の維持を図っている。
  論文  参考訳（メタデータ） (2023-02-13T12:39:45Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Optimal Condition Training for Target Source Separation [56.86138859538063]
  単一チャネルターゲットソース分離のための最適条件学習法を提案する。 多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-11-11T00:04:55Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)
• Unsupervised Multi-source Domain Adaptation Without Access to Source Data [58.551861130011886]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインから知識を転送することで、ラベル付きドメインの予測モデルを学ぶことを目的としている。 本稿では,ソースモデルと適切な重み付けを自動的に組み合わせ,少なくとも最良のソースモデルと同等の性能を発揮する新しい効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-05T10:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。