論文の概要: Learning to Adapt Cross-Domain Preferences via Meta-LoRA for LLM Personalization
- arxiv url: http://arxiv.org/abs/2608.12389v1
- Date: Sat, 01 Aug 2026 09:33:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 01:32:04.603136
- Title: Learning to Adapt Cross-Domain Preferences via Meta-LoRA for LLM Personalization
- Title(参考訳): LLMパーソナライズのためのメタロラを用いたクロスドメイン推論の学習
- Abstract要約: クロスドメインのパーソナライゼーションは、少数のターゲットドメインインタラクションから、目に見えない会話ドメインでのユーザ優先応答を生成することを目的としている。
既存の適応手法は、スパースエビデンスの下で更新サイズを校正するのに苦労している。
そこで我々はPAC-Bayes-regularized Meta-LoRAを提案する。
- 参考スコア(独自算出の注目度): 36.29663071663125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-domain zero- or few-shot personalization aims to generate user-preferred responses in unseen conversational domains from only a handful of target-domain interactions. Existing adaptation methods struggle to calibrate update magnitude under sparse evidence and thus overfit, whereas history-transfer methods often entangle user preferences with source-domain artifacts, yielding unreliable personalization priors and negative transfer. To calibrate adaptation to evidence quality, we propose PAC-Bayes-regularized Meta-LoRA, which uses a meta-learned LoRA initialization as both the adaptation start and prior center, while adjusting update strength according to support-set size and predictive uncertainty. This limits overfitting under sparse or ambiguous evidence while permitting stronger personalization as evidence grows. Controlled adaptation alone does not determine which preferences should transfer across domains or how they should be expressed. We therefore functionally decompose personalization priors into user and domain components, using a human-readable prompt for stable preferences and topology-preserving soft tokens for domain-specific hidden-space conditioning. Experiments across multiple benchmarks and personalization tasks show consistent gains over strong baselines. On HiCUPID, our method reduces cross-domain win-rate degradation by 47.9% relative to the best competing baseline and improves win rate by 110.2% under unseen-user cold start.
- Abstract(参考訳): クロスドメインゼロまたは少数ショットのパーソナライゼーションは、少数のターゲットドメインインタラクションのみから、目に見えない会話ドメインでユーザ優先の応答を生成することを目的としている。
既存の適応手法は、スパースエビデンスの下で更新の規模を調整し過度に適合するのに対して、履歴転送手法は、しばしばユーザー好みをソース・ドメインのアーティファクトと結び付け、信頼できないパーソナライズと負の転送をもたらす。
PAC-Bayes-regularized Meta-LoRAは,メタ学習型LoRA初期化を適応開始点と先行中心の両方とし,サポートセットサイズと予測不確実性に応じて更新強度を調整する。
この制限は、不明瞭な証拠や曖昧な証拠の下で過度に適合する一方で、証拠が大きくなるにつれてより強いパーソナライゼーションを許す。
制御された適応だけでは、どの好みがドメイン間で転送されるべきか、どのように表現されるべきかは決定できない。
そこで本研究では,ユーザとドメインコンポーネントにパーソナライズ前処理を分解し,ユーザ可読なプロンプトと,ドメイン固有の隠れ空間条件のためのトポロジ保存ソフトトークンを用いた。
複数のベンチマークとパーソナライズタスクの実験は、強いベースラインよりも一貫した利得を示している。
HiCUPIDでは、競合する最強のベースラインと比較してクロスドメインの勝利率の低下を47.9%削減し、未確認のコールドスタート時の勝利率を110.2%向上させる。
関連論文リスト
- Beyond Uniform Forgetting: A Study of Sequential Direct Preference Optimization Across Preference Settings [11.551054698858266]
4つの選好設定における逐次直接選好最適化について検討する。
シーケンシャルなDPOは単一の忘れパターンを生成しない。
メカニカル診断では、Stage2グラデーションとアダプタの更新は、すべての設定で以前の目的とほぼ直交している。
論文 参考訳(メタデータ) (2026-06-18T03:20:41Z) - Federated Variational Preference Alignment with Gumbel-Softmax Prior for Personalized User Preferences [27.034832184399992]
我々はGumbel-Softmax Prior (FedVPA-GP) を用いたフェデレーション型変分選好アライメントを提案する。
FedVPA-GPは、プライバシーを損なうことなく、様々な好みを乱すように設計されたフレームワークである。
HH-RLHFデータセットの実験は、FedVPA-GPがモノリシックベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2026-05-29T05:52:21Z) - Optimal Transport-Guided Source-Free Adaptation for Face Anti-Spoofing [58.56017169759816]
本稿では,テスト時に顔のアンチスプーフィングモデルをクライアント自身でターゲットドメインに適応させる新しい手法を提案する。
具体的には,プロトタイプベースモデルと最適トランスポート誘導型アダプタを開発した。
近年の手法と比較して、クロスドメインおよびクロスアタック設定では、HTERが19.17%、AUCが8.58%の平均相対的改善が達成されている。
論文 参考訳(メタデータ) (2025-03-29T06:10:34Z) - Cross-domain Transfer of Valence Preferences via a Meta-optimization Approach [17.545983294377958]
CVPMはメタラーニングと自己教師型学習のハイブリッドアーキテクチャとして、ドメイン間の関心伝達を形式化する。
ユーザの好みに対する深い洞察を得て、差別化されたエンコーダを使って分布を学習する。
特に、各ユーザのマッピングを共通の変換とパーソナライズされたバイアスの2つの部分として扱い、そこでは、パーソナライズされたバイアスを生成するネットワークがメタラーナーによって出力される。
論文 参考訳(メタデータ) (2024-06-24T10:02:24Z) - Progressive Conservative Adaptation for Evolving Target Domains [76.9274842289221]
従来のドメイン適応は、典型的には、ソースドメインから定常ターゲットドメインに知識を転送する。
このような対象データに対する復元と適応は、時間とともに計算とリソース消費をエスカレートする。
我々は、進歩的保守的適応(PCAda)と呼ばれる、単純で効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-07T04:11:25Z) - Adaptive Semantic Consistency for Cross-domain Few-shot Classification [27.176106714652327]
クロスドメイン・ショット分類(CD-FSC)は、いくつかのサンプルを用いて新規なターゲットクラスを特定することを目的としている。
本稿では,ドメイン間の堅牢性を向上する,シンプルなプラグアンドプレイ適応セマンティック一貫性フレームワークを提案する。
提案したASCは、ソースドメインの知識を明示的に伝達することで、モデルがターゲットドメインに過度に適合しないようにする。
論文 参考訳(メタデータ) (2023-08-01T15:37:19Z) - Source-Free Domain Adaptation for SSVEP-based Brain-Computer Interfaces [0.45880283710344055]
SSVEPベースのBCIスペルは、迅速なコミュニケーションを可能にすることで、発話困難を経験する個人を支援する。
高い情報伝達率(ITR)を達成するには、システムを使用する前に広範囲の校正期間が必要となる。
我々は、ソースドメインのデータに基づいて事前訓練された強力なディープニューラルネットワーク(DNN)を適用する新しい手法を提案し、この問題に対処する。
論文 参考訳(メタデータ) (2023-05-27T08:02:46Z) - Feed-Forward Latent Domain Adaptation [17.71179872529747]
本研究では,資源制約されたエッジデバイスが事前学習したモデルをローカルなデータ分布に適応させることのできる,新しい高度に実践的な問題設定について検討する。
エッジデバイスの制限を考慮すると、バックプロパゲーションを使わず、ソースデータにアクセスせずに、事前訓練されたモデルのみを使用し、フィードフォワード方式で適応することを目指している。
我々の解決策は、混合関連ターゲットデータセットを埋め込み、クロスアテンションを用いてターゲットサンプルに対する推論を動的に適応できるネットワークをメタラーニングすることである。
論文 参考訳(メタデータ) (2022-07-15T17:37:42Z) - Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。
近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。
本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
論文 参考訳(メタデータ) (2022-04-24T12:22:19Z) - Diverse Preference Augmentation with Multiple Domains for Cold-start
Recommendations [92.47380209981348]
メタラーニングをベースとした多元的ドメインを用いた多元的推論拡張フレームワークを提案する。
我々は、疎結合の場合の過度な適合を扱うために、新しい関心領域において多様な評価を生成する。
これらの評価は、選好メタラーナーを学ぶためのメタトレーニング手順に導入され、優れた一般化能力が得られる。
論文 参考訳(メタデータ) (2022-04-01T10:10:50Z) - Instance Level Affinity-Based Transfer for Unsupervised Domain
Adaptation [74.71931918541748]
ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。
まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。
ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
論文 参考訳(メタデータ) (2021-04-03T01:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。