論文の概要: AutoAdapt: Automatic Domain Discovery Enables Low-Cost Extensibility
- arxiv url: http://arxiv.org/abs/2610.10349v1
- Date: Wed, 07 Oct 2026 16:26:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.036168
- Title: AutoAdapt: Automatic Domain Discovery Enables Low-Cost Extensibility
- Title(参考訳): AutoAdapt: 低コスト拡張を可能にする自動ドメインディスカバリ
- Abstract要約: AutoAdaptは、新しいドメインとデータを、他のアダプタを変更することなく、ターゲットとする単一アダプタトレーニングを通じて組み込むモジュラーフレームワークである。
フルモデルの再トレーニングを必要とせず、すべてのドメインでトレーニングされたローランド適応(LoRA)アダプタと同等である。
- 参考スコア(独自算出の注目度): 0.27998963147546135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction-tuned models are deployed into environments where domains are heterogeneous and evolve, yet adding new domains or data typically requires costly retraining. We present AutoAdapt, a modular framework that incorporates new domains and data via targeted single-adapter training without modifying other adapters. The framework automatically discovers latent domains, uses them to train per-domain Low-Rank Adaptation (LoRA) adapters independently in parallel and performs parameter-free routing. Across 14 domain-specific benchmarks and GPT-4o pairwise judgements, AutoAdapt achieves parity with a LoRA adapter trained on all domains without requiring full-model retraining. We also find evidence of specialisation effect convergence across independent discovery methods. Overall, training each adapter on its own domain prevents domain interference by construction, thus enabling modular, taxonomy-free domain specialisation without aggregate performance loss or full model retraining.
- Abstract(参考訳): 命令チューニングされたモデルは、ドメインが不均一で進化している環境にデプロイされるが、新しいドメインやデータを追加するには、通常、コストのかかる再トレーニングが必要になる。
新たなドメインとデータをターゲットとする単一アダプタトレーニングを通じて,他のアダプタを変更することなく,新たなドメインとデータを組み込むモジュールフレームワークであるAutoAdaptを紹介します。
このフレームワークは遅延ドメインを自動的に発見し、ドメインごとのローランク適応(LoRA)アダプタを独立して訓練し、パラメータフリーなルーティングを実行する。
14のドメイン固有のベンチマークと GPT-4o のペアの判断で、AutoAdapt は全モデルの再トレーニングを必要とせず、すべてのドメインでトレーニングされた LoRA アダプタと同等である。
また、独立発見法にまたがる特殊化効果の収束の証拠も見いだす。
全体として、各アダプタを自身のドメインでトレーニングすることで、構築によるドメイン干渉が防止されるため、パフォーマンス損失の総和やモデル再トレーニングを伴わずに、モジュラーで分類なしのドメイン特殊化が可能になる。
関連論文リスト
- Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation [0.0]
Self-Routed Adaptersは、マルチドメイン視覚適応のためのコンパクトなフレームワークである。
外部ゲーティングネットワークを使わずにサンプル特異的適応行列を生成する。
これは、MoEスタイルのPEFTベースラインよりも、競争力のある平均精度またはわずかに強い平均精度を達成する。
論文 参考訳(メタデータ) (2026-08-17T10:35:36Z) - HEAT: Heterogeneous End-to-End Autonomous Driving via Trajectory-Guided World Models [50.18051979020699]
エンドツーエンドの自動運転は、従来のモジュラーパイプラインに代わる魅力的な代替手段として登場した。
本稿では,計画軌道に関する学習を組織する軌道駆動学習パラダイムを提案する。
一つの統一モデルが、各ドメイン内で強いパフォーマンスを維持しながら、異種データセット上でトレーニング可能であることを示す。
論文 参考訳(メタデータ) (2026-05-19T10:12:01Z) - Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。
不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。
の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
論文 参考訳(メタデータ) (2023-07-21T14:37:17Z) - Modular Domain Adaptation for Conformer-Based Streaming ASR [28.398302172150636]
一つのモデルで全てのパラメータをドメイン固有に保ちながらマルチドメインデータを処理できるフレームワークを提案する。
ビデオキャプションデータのみに基づいてトレーニングしたストリーミングコンバータトランスデューサでは、MDAベースのモデルが、他のドメイン上のマルチドメインモデルと同様のパフォーマンスに達することを示す実験結果が得られた。
論文 参考訳(メタデータ) (2023-05-22T18:49:35Z) - TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。
TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。
メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
論文 参考訳(メタデータ) (2023-05-22T04:53:59Z) - AdapterSoup: Weight Averaging to Improve Generalization of Pretrained
Language Models [127.04370753583261]
事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。
解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。
本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
論文 参考訳(メタデータ) (2023-02-14T13:09:23Z) - Dynamic Instance Domain Adaptation [109.53575039217094]
教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。
適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。
我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-09T20:05:54Z) - Unsupervised Domain Adaptation with Adapter [34.22467238579088]
本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。
いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。
2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
論文 参考訳(メタデータ) (2021-11-01T02:50:53Z) - Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training
for Road Segmentation of Remote Sensing Images [93.50240389540252]
リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。
本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。
2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-08-28T09:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。