Fugu-MT 論文翻訳(概要): Separating Shared and Domain-Specific LoRAs for Multi-Domain Learning

論文の概要: Separating Shared and Domain-Specific LoRAs for Multi-Domain Learning

arxiv url: http://arxiv.org/abs/2508.02978v1
Date: Tue, 05 Aug 2025 01:04:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-06 18:18:55.725858
Title: Separating Shared and Domain-Specific LoRAs for Multi-Domain Learning
Title（参考訳）: マルチドメイン学習のための共有とドメイン特化ロラの分離
Authors: Yusaku Takama, Ning Ding, Tatsuya Yokota, Toru Tamaki,
Abstract要約: 本稿では,共有とドメイン固有のLoRAが異なる部分空間に存在することを保証する手法を提案する。提案手法を3つのデータセットを用いた行動認識に適用する。
参考スコア（独自算出の注目度）: 10.633658984629696
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing architectures of multi-domain learning have two types of adapters: shared LoRA for all domains and domain-specific LoRA for each particular domain. However, it remains unclear whether this structure effectively captures domain-specific information. In this paper, we propose a method that ensures that shared and domain-specific LoRAs exist in different subspaces; specifically, the column and left null subspaces of the pre-trained weights. We apply the proposed method to action recognition with three datasets (UCF101, Kinetics400, and HMDB51) and demonstrate its effectiveness in some cases along with the analysis of the dimensions of LoRA weights.
Abstract（参考訳）: 既存のマルチドメイン学習アーキテクチャは、すべてのドメインでLoRAを共有することと、それぞれのドメインでLoRAを共有することだ。しかし、この構造がドメイン固有情報を効果的に捉えているかどうかは不明である。本稿では,共有およびドメイン固有のLoRAが異なる部分空間に存在し,特に,事前訓練された重みの列と左ヌル部分空間が存在することを保証する手法を提案する。提案手法を3つのデータセット(UCF101, Kinetics400, HMDB51)による行動認識に適用し,LoRA重みの次元解析とともにその有効性を示す。

関連論文リスト

Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing [5.8398201537012]
Lay paraphrasingは、技術的背景のない科学的情報を聴衆に公開することを目的としている。 Sci-LoRAは、複数の科学領域で微調整されたLoRAの混合物を利用するモデルである。
論文参考訳（メタデータ） (2025-05-24T21:01:35Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
One for Dozens: Adaptive REcommendation for All Domains with Counterfactual Augmentation [32.945861240561]
マルチドメインレコメンデーション(MDR)は、さまざまなドメインにわたるレコメンデーションパフォーマンスの向上を目的としている。従来のMDRアルゴリズムは一般に5つ未満の領域にフォーカスする。本稿では,全てのドメインに対するアダプティブ・レコメンデーションを提案する。
論文参考訳（メタデータ） (2024-12-16T15:52:17Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)
Multi-Domain Learning From Insufficient Annotations [26.83058974786833]
マルチドメイン学習とは、異なるドメインから収集されたデータセット上にモデルまたはモデルのセットを同時に構築することを指す。本稿では,アノテーション不足の影響を軽減するために,マルチドメインコントラスト学習という新しい手法を提案する。 5つのデータセットにわたる実験結果から、MDCLは様々なSPモデルに対して顕著な改善をもたらすことが示された。
論文参考訳（メタデータ） (2023-05-04T11:50:19Z)
Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
論文参考訳（メタデータ） (2022-09-23T12:58:20Z)
Domain Consistency Regularization for Unsupervised Multi-source Domain Adaptive Classification [57.92800886719651]
近年,深層学習に基づくマルチソース非教師付きドメイン適応(MUDA)が活発に研究されている。 MUDAのドメインシフトは、ソースドメインとターゲットドメインの間だけでなく、複数のソースドメインの間にも存在します。本稿では、教師なしマルチソースドメイン適応分類において、ドメインの一貫性規則化を利用するエンドツーエンドのトレーニング可能なネットワークを提案する。
論文参考訳（メタデータ） (2021-06-16T07:29:27Z)
Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
論文参考訳（メタデータ） (2021-04-08T09:12:24Z)
Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
論文参考訳（メタデータ） (2020-07-17T22:05:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。