論文の概要: DoMIX: An Efficient Framework for Exploiting Domain Knowledge in Fine-Tuning

• arxiv url: http://arxiv.org/abs/2507.02302v1
• Date: Thu, 03 Jul 2025 04:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.588324
• Title: DoMIX: An Efficient Framework for Exploiting Domain Knowledge in Fine-Tuning
• Title（参考訳）: DoMIX:ファインチューニングにおけるドメイン知識を効果的に活用するフレームワーク
• Authors: Dohoon Kim, Donghun Kang, Taesup Moon,
• Abstract要約: ドメイン適応型事前学習(DAP)は、最近、微調整型事前学習モデルの有効性について注目されている。 既存の連続DAPメソッドにはいくつかの制限がある。 LoRAモジュールを活用することでこれらの課題に対処する新しいアプローチであるDomixを提案する。
• 参考スコア（独自算出の注目度）: 15.985923682239358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain-Adaptive Pre-training (DAP) has recently gained attention for its effectiveness in fine-tuning pre-trained models. Building on this, continual DAP has been explored to develop pre-trained models capable of incrementally incorporating different domain datasets. However, existing continual DAP methods face several limitations: (1) high computational cost and GPU memory usage during training; (2) sensitivity to incremental data order; and (3) providing a single, generalized model for all end tasks, which contradicts the essence of DAP. In this paper, we propose DoMIX, a novel approach that addresses these challenges by leveraging LoRA modules, a representative parameter-efficient fine-tuning (PEFT) method. Our approach enables efficient and parallel domain-adaptive pre-training that is robust to domain order and effectively utilizes accumulated knowledge to provide tailored pre-trained models for specific tasks. We also demonstrate that our method can be extended beyond the DAP setting to standard LLM fine-tuning scenarios. Code is available at https://github.com/dohoonkim-ai/DoMIX.
• Abstract（参考訳）: ドメイン適応型事前学習(DAP)は、最近、微調整型事前学習モデルの有効性について注目されている。 これに基づいて、連続的なDAPは、異なるドメインデータセットをインクリメンタルに組み込むことができる事前訓練されたモデルを開発するために研究されている。 しかし、既存の連続DAP法では、(1)高計算コストとトレーニング中のGPUメモリ使用量、(2)インクリメンタルなデータ順序に対する感度、(3)DAPの本質と矛盾する単一汎用モデルの提供など、いくつかの制限に直面している。 本稿では,これらの課題に対処する新しい手法であるDoMIXを提案する。 提案手法は,ドメイン順に頑健なドメイン適応型事前学習を効果的かつ並列に実現し,蓄積した知識を有効活用し,特定のタスクに適合した事前学習モデルを提供する。 また,本手法がDAP設定を超えて標準LLM微調整シナリオに拡張可能であることも実証した。 コードはhttps://github.com/dohoonkim-ai/DoMIXで入手できる。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Long-Tail Learning with Foundation Model: Heavy Fine-Tuning Hurts [42.693469918949006]
  本稿では,重度微調整がテールクラスの性能劣化の原因となる可能性を明らかにする。 我々は,高速な予測とコンパクトなモデルを実現することを目的として,低複雑さかつ高精度なロングテール学習アルゴリズムLIFTを開発した。
  論文  参考訳（メタデータ） (2023-09-18T17:50:56Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• TADA: Efficient Task-Agnostic Domain Adaptation for Transformers [3.9379577980832843]
  本研究では,タスクに依存しない新しいドメイン適応手法であるTADを紹介する。 TADA内では、トランスフォーマーエンコーダ用のドメイン認識型入力表現とトークン化器を学習するために埋め込みを再学習する。 メタ埋め込みと新しいメタトケナイザを用いて実験を行い、マルチドメインのユースケースでタスク毎に1つのモデルを作成する。
  論文  参考訳（メタデータ） (2023-05-22T04:53:59Z)
• Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement [24.108008515395458]
  本稿では,CLIP の事前学習知識に対する適応的事前 rEfinement 手法である APE を提案する。 11以上のベンチマークの平均精度では、APEとAPE-Tはいずれも最先端に達し、x30より学習可能なパラメータの少ない16ショットで、それぞれ1.59%、+1.99%で2番目のベットを上回っている。
  論文  参考訳（メタデータ） (2023-04-03T17:58:54Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。