論文の概要: MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2606.22272v1
• Date: Sat, 20 Jun 2026 23:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 21:41:36.355785
• Title: MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation
• Title（参考訳）: MixedPEFT: 教師なしドメイン適応のための複数PEFT法と混合対象を併用する
• Authors: Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay,
• Abstract要約: 本稿では、PEFTアーキテクチャと混合目的学習を組み合わせた、教師なしドメイン適応のための新しい戦略を提案する。 提案手法は,ラベル付きソースドメインデータとラベル付きターゲットドメインデータ上でのマスキング言語モデリング(MLM)の分類性能を同時に最適化する。
• 参考スコア（独自算出の注目度）: 1.7452931180966467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models struggle when applied to new domains, as full fine-tuning is computationally expensive and prone to catastrophic forgetting. This study addresses this challenge by presenting a novel parameter-efficient strategy for unsupervised domain adaptation that combines custom PEFT architectures with mixed-objective training. Our approach simultaneously optimizes classification performance on labeled source domain data and masked language modeling (MLM) on unlabeled target domain data, preserving target domain knowledge while adapting to source domain tasks. Our method employs a custom union of invertible adapters and Low-Rank Adaptation (LoRA) within a unified parameter-efficient framework. Through comprehensive evaluation on the Multi-Genre Natural Language Inference (MNLI) dataset across 20 domain shifts, our approach achieves significant improvements over existing methods: 1.41 percentage points over the current parameter-efficient state-of-the-art UDapter, 1.26 percentage points over the fully-tuned DANN baseline, and 0.86 percentage points over DSN, while utilizing only 7% of the model's trainable parameters. These results establish new benchmarks for parameter-efficient unsupervised domain adaptation and demonstrate that carefully designed PEFT combinations with concurrent optimization can outperform both existing parameter-efficient methods and traditional fully-tuned approaches.
• Abstract（参考訳）: 事前訓練された言語モデルは、完全な微調整が計算コストが高く、破滅的な忘れがちであるため、新しいドメインに適用する際に苦労する。 本研究では、PEFTアーキテクチャと混合目的学習を組み合わせた、教師なしドメイン適応のための新しいパラメータ効率戦略を提案することで、この問題に対処する。 提案手法は,ラベル付きソースドメインデータとラベル付きターゲットドメインデータに対するマスキング言語モデリング(MLM)の分類性能を同時に最適化し,ソースドメインタスクに適応しながら,対象ドメインの知識を保存する。 本手法では, パラメータ効率の統一フレームワークにおいて, 非可逆アダプタとローランド適応(LoRA)のカスタム結合を用いる。 20のドメインシフトにわたるMNLI(Multi-Genre Natural Language Inference)データセットの総合的な評価を通じて、既存の手法よりも大幅に改善された。現在のパラメータ効率の高いUDapterよりも1.41ポイント、フルチューニングされたDANNベースラインより1.26ポイント、DSNより0.86ポイント、モデルのトレーニング可能なパラメータの7%しか利用していない。 これらの結果は、パラメータ効率の低いドメイン適応のための新しいベンチマークを確立し、並列最適化によるPEFTの組み合わせが、既存のパラメータ効率の手法と従来の完全に調整されたアプローチよりも優れていることを示す。

関連論文リスト

• Tunable Domain Adaptation Using Unfolding [11.125968799758438]
  本稿では,解釈不能なネットワークに基づく回帰タスクに対する2つの新しいドメイン適応手法を提案する。 これらのモデルは、選択可能なパラメータのドメイン変数への機能的依存を活用し、推論中に制御された適応を可能にする。 本稿では,雑音適応型スパース信号回復,領域適応型ゲインキャリブレーション,領域適応型位相探索などを含む圧縮センシング問題に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2026-03-27T19:15:05Z)
• Domain Adaptation via Feature Refinement [0.3867363075280543]
  本稿では,分散シフト下での非教師付きドメイン適応のための簡易かつ効果的なフレームワークであるDAFR(Domain Adaptation via Feature Refinement)を提案する。 提案手法は, ラベルなし対象データを用いたバッチ正規化統計の適応, ソース学習モデルからの特徴蒸留, 仮説伝達の3つの重要な要素を組み合わせた。
  論文  参考訳（メタデータ） (2025-08-22T06:32:19Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Enhanced Online Test-time Adaptation with Feature-Weight Cosine Alignment [7.991720491452191]
  オンラインテスト時間適応(OTTA)は、分散シフトを扱う効果的な戦略として登場した。 本稿では,双対目的損失関数を用いたコサインアライメント最適化手法を提案する。 提案手法は最先端技術より優れ,複数のデータセットに新しいベンチマークを設定できる。
  論文  参考訳（メタデータ） (2024-05-12T05:57:37Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。