論文の概要: An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

• arxiv url: http://arxiv.org/abs/2601.05882v1
• Date: Fri, 09 Jan 2026 15:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:50.020861
• Title: An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
• Title（参考訳）: ドメインシフト下における優先度調整一般化と多様性に関する実証的研究
• Authors: Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras,
• Abstract要約: 優先順位調整は、事前訓練された言語モデルと品質、有用性、安全性の人間の判断を一致させる。 以前の研究では、好み調整はパフォーマンスを低下させ、トレーニング領域外での評価において有用性を低下させることが示された。 擬似ラベルに基づく適応戦略はドメインシフト劣化を著しく低減できることを示す。
• 参考スコア（独自算出の注目度）: 28.406449942947315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference tuning aligns pretrained language models to human judgments of quality, helpfulness, or safety by optimizing over explicit preference signals rather than likelihood alone. Prior work has shown that preference-tuning degrades performance and reduces helpfulness when evaluated outside the training domain. However, the extent to which adaptation strategies mitigate this domain shift remains unexplored. We address this challenge by conducting a comprehensive and systematic study of alignment generalization under domain shift. We compare five popular alignment objectives and various adaptation strategies from source to target, including target-domain supervised fine-tuning and pseudo-labeling, across summarization and question-answering helpfulness tasks. Our findings reveal systematic differences in generalization across alignment objectives under domain shift. We show that adaptation strategies based on pseudo-labeling can substantially reduce domain-shift degradation
• Abstract（参考訳）: 優先順位調整は、訓練済みの言語モデルと品質、有用性、安全性の人間の判断を一致させる。 以前の研究では、好み調整はパフォーマンスを低下させ、トレーニング領域外での評価において有用性を低下させることが示された。 しかし、適応戦略がドメインシフトを緩和する程度は、まだ未定である。 ドメインシフトの下でのアライメント一般化を包括的かつ体系的に研究することで、この問題に対処する。 対象領域の教師付き微調整や擬似ラベル作成を含む5つのアライメント目標と、ソースからターゲットへの様々な適応戦略を比較し、要約と質問応答支援タスクを比較した。 本研究は,ドメインシフト下でのアライメント対象間の一般化の系統的差異を明らかにした。 擬似ラベルに基づく適応戦略はドメインシフト劣化を大幅に低減できることを示す。

関連論文リスト

• Gradient-Guided Annealing for Domain Generalization [5.124256074746721]
  ドメインの一般化効率を向上させるため,GGAアルゴリズムを提案する。 GGAの有効性は、広く受け入れられ、困難な画像分類領域の一般化ベンチマークで評価される。
  論文  参考訳（メタデータ） (2025-02-27T15:01:55Z)
• Randomized Adversarial Style Perturbations for Domain Generalization [49.888364462991234]
  本稿では,RASP(Randomized Adversarial Style Perturbation)と呼ばれる新しい領域一般化手法を提案する。 提案アルゴリズムは, ランダムに選択されたクラスに対して, 対角方向の特徴のスタイルを乱し, 予期せぬ対象領域で観測される予期せぬスタイルに誤解されないよう, モデルを学習させる。 提案アルゴリズムは,様々なベンチマークによる広範な実験により評価され,特に大規模ベンチマークにおいて,領域一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-04-04T17:07:06Z)
• Label Alignment Regularization for Distribution Shift [63.228879525056904]
  最近の研究は、教師あり学習におけるラベルアライメント特性(LAP)を強調している。 対象領域の予測と最上位特異ベクトルとのアライメントを促進する非教師なし領域適応の正規化法を提案する。 MNIST-USPSドメイン適応や言語間感情分析などのよく知られたタスクにおいて、ドメイン適応ベースラインよりもパフォーマンスが向上したことを報告した。
  論文  参考訳（メタデータ） (2022-11-27T22:54:48Z)
• Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning [62.7588467386166]
  ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。 私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
  論文  参考訳（メタデータ） (2021-04-22T13:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。