論文の概要: DA-MergeLoRA: Hypernetwork-Based LoRA Merging for Few-Shot Test-Time Domain Adaptation
- arxiv url: http://arxiv.org/abs/2607.17467v1
- Date: Mon, 20 Jul 2026 01:45:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.475518
- Title: DA-MergeLoRA: Hypernetwork-Based LoRA Merging for Few-Shot Test-Time Domain Adaptation
- Title（参考訳）: DA-MergeLoRA: テスト時間ドメイン適応のためのハイパーネットワークベースのLoRAマージ
- Abstract要約: FSTT-DA(Test-Time Domain Adaptation)は、少数の未ラベルのターゲットサンプルを使用して、新しいドメインにモデルを適応させようとしている。
本稿では,LoRAファインチューニングとモデルマージを統合した新しいFSTT-DAフレームワークを提案する。
本結果は,各領域適応データセットにおける最先端性能を示す。
- 参考スコア（独自算出の注目度）: 13.200133063912624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-shot Test-Time Domain Adaptation (FSTT-DA) seeks to adapt models to novel domains using only a handful of unlabeled target samples. This setting is more realistic than typical domain adaptation setups, which assume access to target data during source training. However, prior FSTT-DA approaches fail to effectively leverage source domain-specific knowledge, relying on shallow batch normalization updates, prompt-based methods that treat the model as a black box, or ensembling strategies that do not capture cross-domain relationships. To address these limitations, we introduce a new FSTT-DA framework that integrates LoRA fine-tuning with model merging. In our approach, separate LoRA modules are fine-tuned on CLIP's vision encoder for each source domain. Since LoRA modifies only a small fraction of the model's parameters, it retains the base model's generalized knowledge while internally learning domain-specific features. To adapt the learned knowledge to a specific target domain, we propose a hypernetwork trained via meta-learning that generates per-column merging factors to combine LoRA modules. Given a small batch of target images, the hypernetwork produces merging weights that fuse source LoRA modules into a single adapted representation. Our results demonstrate state-of-the-art performance across various domain adaptation datasets. Our code is publicly available at https://github.com/nahbois4321/DA-MergeLoRA.
- Abstract（参考訳）: FSTT-DA(Test-Time Domain Adaptation)は、少数の未ラベルのターゲットサンプルを使用して、新しいドメインにモデルを適応させようとしている。
この設定は、ソーストレーニング中にターゲットデータへのアクセスを前提とする、典型的なドメイン適応セットアップよりも現実的です。
しかし、FSTT-DA以前のアプローチでは、浅いバッチの正規化更新、モデルをブラックボックスとして扱うプロンプトベースのメソッド、ドメイン間の関係を捉えないアンサンブル戦略など、ソースドメイン固有の知識を効果的に活用できなかった。
これらの制約に対処するために,LoRAファインチューニングとモデルマージを統合した新しいFSTT-DAフレームワークを導入する。
このアプローチでは、別々のLoRAモジュールをソースドメイン毎にCLIPのビジョンエンコーダに微調整する。
LoRAはモデルのパラメータのごく一部しか変更しないため、内部でドメイン固有の特徴を学習しながら、ベースモデルの一般化された知識を保持する。
学習した知識を特定の対象領域に適応させるために,メタラーニングにより学習したハイパーネットワークを提案する。
ターゲット画像の小さなバッチが与えられた場合、ハイパーネットワークは、ソースのLoRAモジュールを単一の適応表現に融合させるマージ重みを生成する。
本結果は,各領域適応データセットにおける最先端性能を示す。
私たちのコードはhttps://github.com/nahbois4321/DA-MergeLoRAで公開されています。
関連論文リスト
- WeaveRec: An LLM-Based Cross-Domain Sequential Recommendation Framework with Model Merging [24.949880939628386]
WeaveRecは、複数のLoRAモジュールにソースとターゲットのドメインデータをウィービング形式で相互にトレーニングする。
WeaveRecは、ターゲットドメインにおける期待されるエラーの上限を下げることができるという理論的な保証を提供する。
論文 参考訳（メタデータ） (2025-10-30T14:37:15Z) - HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization [39.23407996213986]
Low-Rank Adaptation (LoRA) は、大規模言語モデルを新しいドメインに適応させる手法として広く使われている。
既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。
トレーニング不要なフレームワークである textttHiLoRA を提案し,LoRA プール上で適応的な階層的ルーティングを行う。
論文 参考訳（メタデータ） (2025-10-14T08:19:13Z) - RegCL: Continual Adaptation of Segment Anything Model via Model Merging [6.868344361490698]
本稿では,効率的なマルチドメイン知識統合のための非再生連続学習フレームワークであるRegCLを提案する。
RegCLはSAMの適応モジュールのパラメータをマージすることにより、モデルマージアルゴリズムを連続学習パラダイムに組み込む。
実験により、RegCLは複数のダウンストリームデータセット間で良好な連続学習性能が得られることが示された。
論文 参考訳（メタデータ） (2025-07-16T14:51:37Z) - Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation [66.72195610471624]
Cross-Domain Sequential Recommendationは、異なるドメイン間でユーザのシーケンシャルな好みをマイニングし、転送することを目的としている。
本稿では,ユーザ検索手法を探索し,CDSRの性能向上を目的とした URLLM という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T09:19:54Z) - Virtual Classification: Modulating Domain-Specific Knowledge for
Multidomain Crowd Counting [67.38137379297717]
マルチドメインのクラウドカウントは、複数の多様なデータセットの一般的なモデルを学ぶことを目的としている。
ディープネットワークは、ドメインバイアスとして知られるすべてのドメインではなく、支配的なドメインの分布をモデル化することを好む。
マルチドメイン群カウントにおけるドメインバイアス問題を処理するために,MDKNet(Modulating Domain-specific Knowledge Network)を提案する。
論文 参考訳（メタデータ） (2024-02-06T06:49:04Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳（メタデータ） (2023-11-19T04:43:16Z) - Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。
本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。
本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-23T12:58:20Z) - Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain
Adaptive Semantic Segmentation [102.42638795864178]
セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。
対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。
その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。
モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
論文 参考訳（メタデータ） (2020-12-15T13:21:54Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳（メタデータ） (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。