論文の概要: Language-Induced Priors for Domain Adaptation

• arxiv url: http://arxiv.org/abs/2605.14301v1
• Date: Thu, 14 May 2026 03:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.595713
• Title: Language-Induced Priors for Domain Adaptation
• Title（参考訳）: 言語によるドメイン適応の先行
• Authors: Qiyuan Chen, Jiayu Zhou, Raed Al Kontar,
• Abstract要約: ドメイン適応はコールドスタート体制において根本的なパラドックスに直面している。 ターゲットデータが少ない場合、統計手法は関連するソースドメインと無関係なドメインを区別することができない。 本稿では,専門家のセマンティック記述を選択モデルに変換する確率的フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.18933946385909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain adaptation faces a fundamental paradox in the cold-start regime. When target data is scarce, statistical methods fail to distinguish relevant source domains from irrelevant ones, which often leads to negative transfer. In this paper, we address this challenge by leveraging expert textual descriptions of the target domain, a resource that is often available but overlooked. We propose a probabilistic framework that translates these semantic descriptions into a choice model, namely a Language-Induced Prior (LIP), that learns the preferences from a pretrained Large Language Model (LLM). The LIP is then integrated into an Expectation-Maximization algorithm to identify source relevance. Methodologically, this framework is compatible with any parametric model where a likelihood is available. It allows the LIP to guide the selection of sources when target signals are weak, while gradually refining these choices as samples accumulate. Theoretically, we prove that the estimator roughly matches an oracle cold-start MSE under a correct prior, while remaining asymptotically consistent regardless of the quality of the LIP. Empirically, we validated the framework on a descriptive (Gaussian estimation), a predictive (C-MAPSS dataset), and a prescriptive task (MuJoCo hopper).
• Abstract（参考訳）: ドメイン適応はコールドスタート体制において根本的なパラドックスに直面している。 ターゲットデータが少ない場合、統計手法は関連するソースドメインと無関係なドメインを区別することができず、しばしば負の転送につながる。 本稿では、しばしば利用でき、見落とされがちなリソースである対象ドメインのエキスパートテキスト記述を活用することで、この問題に対処する。 本稿では,これらの意味記述を選択モデル,すなわちLIP(Language-induced Prior)に変換する確率的フレームワークを提案する。 LIPは、ソース関連性を特定するために期待最大化アルゴリズムに統合される。 方法論的には、このフレームワークは、可能性のある任意のパラメトリックモデルと互換性がある。 これにより、LIPは、ターゲット信号が弱いときにソースの選択をガイドし、サンプルが蓄積されるにつれて、これらの選択を徐々に洗練することができる。 理論的には、推定器は、LIPの品質に関わらず漸近的に一定でありながら、正しい事前条件下では、オラクルのコールドスタートMSEと大まかに一致することを証明している。 実験により,このフレームワークを記述的(ガウス推定),予測的(C-MAPSSデータセット),規範的タスク(MuJoCoホッパー)で検証した。

関連論文リスト

• Semiparametric Preference Optimization: Your Language Model is Secretly a Single-Index Model [43.74350307533018]
  我々は、未知の、制約のない複雑さの下で、嗜好に対するポリシーの整合性について研究する。 ニューラルネットワークとバッチデータに適した一階最適化を使用します。
  論文  参考訳（メタデータ） (2025-12-26T08:22:41Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
  テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。 PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。 本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-12-19T18:42:19Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。