論文の概要: Bidirectional Preference Synthesis: Learning Prompt-Conditioned Preferences from Boundary Failures

• arxiv url: http://arxiv.org/abs/2610.04328v1
• Date: Sat, 03 Oct 2026 06:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 11:29:56.963548
• Title: Bidirectional Preference Synthesis: Learning Prompt-Conditioned Preferences from Boundary Failures
• Title（参考訳）: 双方向選好合成:境界欠陥からプロンプト制約付き選好を学習する
• Abstract要約: 直接選好最適化(DPO)のためのデータ構成法である双方向選好合成(BPS)を導入する。 BPSは従来のフォワードペアを元のプロンプトの下に保持し、合成されたプロンプトの下に逆ペアを追加する。 Qwen3-4B-Instruct-2507では、BPSはオリジナルサイドのペアのランキングを6.8%から62.3%に引き上げた。
• 参考スコア（独自算出の注目度）: 28.414356387459474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Correction-based offline preference pipelines commonly treat model failures only as rejected responses under the original prompt. This supervision is incomplete for boundary failures: responses that violate the given instruction yet coherently satisfy a nearby intent or constraint setting. We introduce Bidirectional Preference Synthesis (BPS), a data-construction method for standard Direct Preference Optimization (DPO) that makes this missing prompt dependence explicit. For each validated boundary failure, BPS keeps the conventional forward pair under the original prompt and adds a reverse pair under a synthesized achieved prompt, so the same response is rejected where it is wrong and chosen where it is right, without changing the DPO objective, training a reward model, or requiring online sampling. On Qwen3-4B-Instruct-2507, BPS preserves original-side pairwise ranking while raising achieved-side ranking accuracy from 6.8% to 62.3% on held-out crossed anchors, with a similar shift under a Kimi-K2.6 cross-teacher probe. A blind human audit supports the intended reverse preference direction, and downstream evaluations show the clearest separation from Forward-DPO in multilingual multi-turn instruction following, with consistent capability-retention patterns on agentic, tool-use, and code checks.
• Abstract（参考訳）: 補正ベースのオフライン優先パイプラインは、モデル障害を元のプロンプトで拒否された応答として扱うのが一般的である。 この監視は境界欠陥に対して不完全なものであり、与えられた命令に違反する応答は、近隣の意図や制約設定を一貫性を持って満たす。 本稿では,標準直接参照最適化 (DPO) のためのデータ構築手法である双方向参照合成 (BPS) を導入する。 検証された境界欠陥ごとに、BPSは従来のフォワードペアを元のプロンプトの下で保持し、合成されたプロンプトの下で逆ペアを追加するので、同じ応答は、DPOの目的を変更したり、報酬モデルを訓練したり、オンラインサンプリングを必要とせずに、間違っている場所で拒否され、正しい場所で選択される。 Qwen3-4B-Instruct-2507では、BPSはオリジナルサイドのペアのランキングを維持し、達成されたサイドのランキング精度は6.8%から62.3%まで上昇した。 視覚障害者監査では、意図した逆選好方向をサポートし、下流評価では、エージェント、ツール使用、コードチェックに一貫した機能保持パターンを持つ多言語マルチターン命令において、フォワード-DPOから最も明確な分離を示す。

関連論文リスト

• PLC-DPO: Posterior Label Correction in Noisy and Ambiguous Preference Optimization [40.91256615677526]
  本稿では,好みを安定的に最適化するための後ラベル補正DPOを提案する。 主要な考え方は、適切な修正措置を取るために、政策基準マージンをオンライン証拠として使うことである。 PLC-DPOは、DPOに対する最良の平均勝利率を得る(次ベット法では60.5対55.5)
  論文  参考訳（メタデータ） (2026-08-31T11:11:33Z)
• BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
  BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。 Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
  論文  参考訳（メタデータ） (2026-08-09T15:32:16Z)
• Boosting Direct Preference Optimization with Penalization [0.0]
  DPOP(Direct Preference Optimization with Penalization)は、DPOの単純な拡張であり、基準グレード応答に対するゲートペナルティによるベース優先損失を増大させる。 AlpacaEval 2.0では、DPOPはLlama-3-8b-itとGemma-2-9b-itの両方でDPO、SimPO、AlphaDPOよりも長さ制御された勝利率を改善する。
  論文  参考訳（メタデータ） (2026-06-10T17:22:51Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
  直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。 DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。 この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。 DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
  論文  参考訳（メタデータ） (2026-02-12T12:55:51Z)
• Reverse Preference Optimization for Complex Instruction Following [61.39734201711077]
  本稿では,Reverse Preference Optimization (RPO) という,シンプルで効果的な手法を提案する。 選択された応答が完璧であることを保証するために、命令内の制約を動的に反転させることで、優先ペアのノイズを緩和する。 RPOはモデルサイズで効果的にスケールし、70B RPOモデルはGPT-4oを超える。
  論文  参考訳（メタデータ） (2025-05-28T09:44:27Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Permutative Preference Alignment from Listwise Ranking of Human Judgments [40.23480751285947]
  我々はNDCGを異なる代理損失で近似することで、エンドツーエンドのアライメントアルゴリズムを開発する。 我々は,NDCGに基づく手法により,B-T法よりも効率よくランキング精度を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-06T03:49:28Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。