論文の概要: Sem-DPO: Mitigating Semantic Inconsistency in Preference Optimization for Prompt Engineering

• arxiv url: http://arxiv.org/abs/2507.20133v2
• Date: Tue, 29 Jul 2025 04:18:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 12:52:36.846743
• Title: Sem-DPO: Mitigating Semantic Inconsistency in Preference Optimization for Prompt Engineering
• Title（参考訳）: Sem-DPO: プロンプト工学における選好最適化における意味的不整合の軽減
• Authors: Anas Mohamed, Azal Ahmad Khan, Xinran Wang, Ahmad Faraz Khan, Shuwen Ge, Saman Bahzad Khan, Ayaan Ahmad, Ali Anwar,
• Abstract要約: Sem-DPOは意味的一貫性を維持しながら、その単純さと効率を維持するDPOの亜種である。 本研究は,Sem-DPOが原文の有界近傍で学習のプロンプトを継続していることを示す。 3つの標準テキスト-画像のプロンプト-最適化ベンチマークと2つの言語モデルにおいて、Sem-DPOはDPOよりもCLIPの類似度が8-12%高く、5-9%高いHPSv2.1、PickScore)。
• 参考スコア（独自算出の注目度）: 5.568436850698628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative AI can now synthesize strikingly realistic images from text, yet output quality remains highly sensitive to how prompts are phrased. Direct Preference Optimization (DPO) offers a lightweight, off-policy alternative to RL for automatic prompt engineering, but its token-level regularization leaves semantic inconsistency unchecked as prompts that win higher preference scores can still drift away from the user's intended meaning. We introduce Sem-DPO, a variant of DPO that preserves semantic consistency yet retains its simplicity and efficiency. Sem-DPO adjusts the DPO loss using a weight based on how different the winning prompt is from the original, reducing the impact of training examples that are semantically misaligned. We provide the first analytical bound on semantic drift for preference-tuned prompt generators, showing that Sem-DPO keeps learned prompts within a provably bounded neighborhood of the original text. On three standard text-to-image prompt-optimization benchmarks and two language models, Sem-DPO achieves 8-12% higher CLIP similarity and 5-9% higher human-preference scores (HPSv2.1, PickScore) than DPO, while also outperforming state-of-the-art baselines. These findings suggest that strong flat baselines augmented with semantic weighting should become the new standard for prompt-optimization studies and lay the groundwork for broader, semantics-aware preference optimization in language models.
• Abstract（参考訳）: 生成AIはテキストから驚くほどリアルな画像を合成できるが、出力品質はプロンプトの言い方に非常に敏感だ。 直接選好最適化(DPO)は、自動プロンプトエンジニアリングのための軽量で非政治的な代替手段を提供するが、トークンレベルの正規化では、より高い選好スコアを獲得することがユーザの意図した意味から逸脱する可能性があるため、セマンティックな不整合を未確認のまま残している。 セム-DPO(Sem-DPO)は意味的一貫性を保ちながら、その単純さと効率を保ったDPOの変種である。 Sem-DPOは、勝利のプロンプトとオリジナルとの違いに基づいて重みを使ってDPO損失を調整する。 本研究では,Sem-DPOが原文の証明可能な有界近傍で学習用プロンプトを保ち続けることを示す,好み調整型プロンプトジェネレータのセマンティックドリフトに関する最初の解析的バウンダリを提供する。 3つの標準のテキスト・ツー・イメージ・プロンプト最適化ベンチマークと2つの言語モデルにおいて、Sem-DPOはCLIPの類似度が8-12%高く、5-9%高い人間の参照スコア(HPSv2.1、PickScore)がDPOよりも高い。 これらの結果は, 意味重み付けを付加した強い平坦なベースラインが, 迅速な最適化研究の新たな標準となり, 言語モデルにおいて, より広義のセマンティックス・アウェア・プライオリティ最適化の基盤となることを示唆している。

関連論文リスト

• Optimal Transport-Based Token Weighting scheme for Enhanced Preference Optimization [17.801062522027266]
  DPO(Direct Preference Optimization)は,大規模言語モデルと人間の嗜好を整合させる,有望なフレームワークとして登場した。 既存の方法は応答における全てのトークンに等しい重要性を割り当て、人間はより意味のある部分に焦点を当てる。 直接textbfPreference textbfOptimization (OTPO) を強化するための textbfOptimal textbfTransport を用いたトークン重み付け方式を提案する。
  論文  参考訳（メタデータ） (2025-05-24T14:44:15Z)
• Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback [40.01227095901647]
  大規模言語モデル(LLM)は、優れたパフォーマンスを示すが、リトレーニングなしに素早く人間の好みに適応する柔軟性に欠ける。 本稿では,LLM出力と推論時の人間の嗜好を一致させるフレームワークであるテスト時間優先最適化(TPO)を紹介する。 本研究は,TPOをテスト時間優先最適化の実用的で軽量な代替手段として確立し,ハエのアライメントを実現している。
  論文  参考訳（メタデータ） (2025-01-22T14:15:46Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Minor DPO reject penalty to increase training robustness [8.971332948872185]
  人間の嗜好からの学習は、ダウンストリームタスクにおいて、事前学習されたLLMを人間の嗜好に合わせるために、大規模言語モデル(LLM)の微調整ステップで使用されるパラダイムである。 近年,簡易なRLフリー手法でアライメント問題を解決するために,DPO(Direct Preference Optimization)が提案されている。 本稿では、DPOにおける$beta$の動作メカニズムを分析し、RLアルゴリズムとDPOの構文差を明らかにし、DPOの単純化による潜在的な不足について理解する。
  論文  参考訳（メタデータ） (2024-08-19T09:29:31Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Direct Preference Optimization with an Offset [58.7977683502207]
  直接選好最適化(DPO)は、大きな言語モデルと人間の選好を整合させる成功戦略である。 本稿では,DPOをオフセット(ODPO)で一般化し,微調整時にすべての選好ペアを等しく扱わないDPOを提案する。
  論文  参考訳（メタデータ） (2024-02-16T10:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。