論文の概要: Co-Adaptive Multi-Task LoRA: Transfer-Aware, Label-Free Control of Domain Participation

• arxiv url: http://arxiv.org/abs/2607.03522v1
• Date: Fri, 03 Jul 2026 17:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.638999
• Title: Co-Adaptive Multi-Task LoRA: Transfer-Aware, Label-Free Control of Domain Participation
• Title（参考訳）: Co-Adaptive Multi-Task LoRA:Transfer-Aware, Label-free Control of Domain Participation
• Abstract要約: 多くのドメインで一度に単一の低ランクアダプタを微調整することはマルチタスク学習である。 最も効率的な微調整パイプラインは、これを無視し、固定された均一な混合物で訓練する。 どちらの回答も、ラベルなしで安価に読み取ることができる。
• 参考スコア（独自算出の注目度）: 11.87012967179379
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fine-tuning a single low-rank adapter on many domains at once is multi-task learning: the domains must be co-learned, and how they share the adapter decides whether they help or hurt one another. Most efficient fine-tuning pipelines ignore this and train on a fixed, uniform mixture, leaving two coupled questions unanswered: how much should each domain participate, and which domains should be co-trained given that some transfer positively and others interfere? We show that both answers can be read off cheaply and without labels. A forward pass of the current shared adapter over a small unlabeled probe yields, per domain, a competence signal whose level tracks remaining headroom and whose trajectory tracks learning speed; the drift of these probe representations yields a signed cross-domain affinity that predicts pairwise transfer. We fold both into CoDA, a co-adaptive controller that solves a small entropy-regularized quadratic program on the simplex to set each domain's participation -- jointly its loss weight and its share of the sampled data -- rewarding high-headroom, still-learning, mutually synergistic domains and damping interfering ones. The controller is forward-only, adds no trainable parameters, and wraps any multi-task LoRA pipeline. Across five heterogeneous domains and two backbones, CoDA improves the average over uniform mixing, learned mixtures, gradient-surgery multi-task optimizers, and online data selection while using half the data, and lowers cross-domain gradient conflict. We prove that the competence signal tracks domain risk, that the participation program has a unique fixed point reached by a contraction, and that its solution performs transfer-aware water-filling; analysis, ablations, and controls corroborate each claim.
• Abstract（参考訳）: 多くのドメインで一度に単一の低ランクアダプタを微調整することはマルチタスク学習である。 最も効率的な微調整パイプラインは、これを無視し、固定された均一な混合をトレーニングし、2つの組み合わせた質問を残している。 どちらの回答も、ラベルなしで安価に読み取ることができる。 電流共用アダプタの小さなラベルのないプローブ上の前方通過は、レベルがヘッドルームを追尾し、軌道が学習速度を追尾するコンピテンス信号となり、これらのプローブ表現のドリフトは、ペアの転送を予測する符号付きクロスドメイン親和性が得られる。 どちらもCoDA(co-adaptive controller)に折りたたみます。これは、各ドメインの参加 -- 損失重量とサンプルデータの共有 -- をシンプルに設定するために、小さなエントロピー規則化された二次プログラムを解決し、ハイヘッドルーム、静止学習、相互シナジスティックなドメインに報いる。 コントローラは前方のみであり、トレーニング可能なパラメータを追加せず、マルチタスクのLoRAパイプラインをラップする。 5つのヘテロジニアスドメインと2つのバックボーンにわたって、CoDAは、均一な混合、学習された混合、グラデーションサージリーマルチタスクオプティマイザ、およびオンラインデータ選択を半分のデータを使用しながら改善し、ドメイン間の勾配競合を低くする。 コンピテンス信号がドメインリスクを追跡し、参加者プログラムが収縮によって到達した特異な固定点を有し、そのソリューションが各クレームの相関関係の分析、改善、制御を行うことを証明した。

関連論文リスト

• LLM-EDT: Large Language Model Enhanced Cross-domain Sequential Recommendation with Dual-phase Training [53.539682966282534]
  クロスドメインシーケンスレコメンデーション (CDSR) は、様々なドメインからの情報を取り入れることで、ユーザとイテムのインタラクションを強化するために提案されている。 現在の進歩にもかかわらず、不均衡問題と移行問題はCDSRのさらなる発展を妨げる。 デュアルフェーズトレーニング(LLM-EDT)によるLLMの拡張型クロスドメインシーケンスレコメンデーションを提案する。
  論文  参考訳（メタデータ） (2025-11-25T05:18:04Z)
• Dual-Path Adversarial Lifting for Domain Shift Correction in Online Test-time Adaptation [59.18151483767509]
  テスト時間適応におけるドメインシフト補正のためのデュアルパストークンリフトを導入する。 次に、インターリーブされたトークン予測とドメインシフトトークンのパスとクラストークンのパスの間の更新を行う。 評価実験の結果,提案手法はオンライン完全テスト時間領域適応性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-08-26T02:33:47Z)
• Learning with Alignments: Tackling the Inter- and Intra-domain Shifts for Cross-multidomain Facial Expression Recognition [16.864390181629044]
  本稿では、ドメイン間のシフトとドメイン内シフトの両方を扱うための、LA-CMFERという新しいラーニング・ウィズ・アライメント・CMFERフレームワークを提案する。 これに基づいて、LA-CMFERは、知識伝達におけるハード・トゥ・アライメント・サンプルの優先順位付けをモデルに強制する二重レベル領域間アライメント法を提案する。 ドメイン内シフトに対処するため、LA-CMFERは複数ビューの整合性制約を持つ複数ビューのドメイン内アライメント手法を導入した。
  論文  参考訳（メタデータ） (2024-07-08T07:43:06Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Joint Attention-Driven Domain Fusion and Noise-Tolerant Learning for Multi-Source Domain Adaptation [2.734665397040629]
  マルチソースUnsupervised Domain Adaptationはラベル付きデータを持つ複数のソースドメインからラベル付きターゲットドメインに知識を転送する。 異なるドメインとターゲットドメイン内のノイズの多い擬似ラベル間の分散の相違は、どちらもパフォーマンスのボトルネックにつながる。 本稿では,意識駆動型ドメイン融合(ADNT)と雑音耐性学習(ADNT)を統合し,上記の2つの問題に対処するアプローチを提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:08:41Z)
• Joint Distribution Alignment via Adversarial Learning for Domain Adaptive Object Detection [11.262560426527818]
  教師なしのドメイン適応オブジェクト検出は、リッチラベル付きデータで訓練された元のソースドメインから、ラベルなしデータで新しいターゲットドメインに適応することを目的としている。 近年、主流のアプローチは、敵対的学習を通じてこのタスクを実行するが、それでも2つの制限に悩まされている。 上記の課題に対処するために,JADF(Joint Adaptive Detection framework)を提案する。
  論文  参考訳（メタデータ） (2021-09-19T00:27:08Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Conditional Coupled Generative Adversarial Networks for Zero-Shot Domain Adaptation [31.334196673143257]
  あるドメインでトレーニングされた機械学習モデルは、ドメインシフトが存在するため、他のドメインではうまく機能しない。 本研究では,CoGANを条件付きモデルに拡張することにより,条件付き生成逆数ネットワーク(CoCoGAN)を提案する。 提案したCoCoGANは,2つの異なるタスク,すなわち関連タスク (RT) と非関連タスク (IRT) で二重ドメインサンプルの連成分布を捉えることができる。
  論文  参考訳（メタデータ） (2020-09-11T04:36:42Z)
• MADAN: Multi-source Adversarial Domain Aggregation Network for Domain Adaptation [58.38749495295393]
  ドメイン適応は、あるラベル付きソースドメインと、わずかにラベル付けまたはラベル付けされていないターゲットドメインの間のドメインシフトをブリッジするために、転送可能なモデルを学ぶことを目的としています。 近年のマルチソース領域適応法(MDA)では,ソースとターゲット間の画素レベルのアライメントは考慮されていない。 これらの課題に対処するための新しいMDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T21:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。