論文の概要: A Zeroth-Order Paradigm for LLM Preference Alignment

• arxiv url: http://arxiv.org/abs/2609.19144v1
• Date: Wed, 16 Sep 2026 17:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.931161
• Title: A Zeroth-Order Paradigm for LLM Preference Alignment
• Title（参考訳）: LLM選好アライメントのためのゼロ階パラダイム
• Abstract要約: ComPOは、比較オラクルに基づくゼロ階アライメント手法である。 Online ComPOはオフライン比較機構を保持し、ラベルなしポリシー生成を使用してリバースKL制御を行う。 Mistral、Llama、Gemma-2、Qwen3、Gemma-3モデルの実験は、既存の直接アライメント法よりも改善されている。
• 参考スコア（独自算出の注目度）: 26.629761802730258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct preference alignment methods are widely used to align large language models (LLMs) with human preferences because of their computational and memory efficiency. However, likelihood displacement motivates alternative ways to extract information from preference pairs with small likelihood margins. In this paper, we propose and analyze Comparison-based Preference Optimization (ComPO), a zeroth-order alignment method based on comparison oracles. ComPO extracts directional information from these pairs without directly optimizing a differentiable preference loss on them. We establish a convergence guarantee for its basic offline scheme under smoothness, gradient sparsity, and compatibility between the oracle and a latent objective. We further introduce online ComPO, which retains the offline comparison mechanism and uses unlabeled policy generations for reverse-KL control relative to a reference policy. Following the coverage perspective of preference fine-tuning, we establish a performance guarantee for a basic constrained scheme under local coverage and in-distribution pairwise reward accuracy. Experiments on Mistral, Llama, Gemma-2, Qwen3, and Gemma-3 models demonstrate improvements over existing direct alignment methods, including length-controlled win rates, with pair-level diagnostics providing evidence consistent with mitigating likelihood displacement.
• Abstract（参考訳）: 直接選好アライメント法は、計算効率とメモリ効率のため、大規模言語モデル(LLM)を人間の選好に合わせるために広く用いられている。 しかし、確率変位は、小さな確率マージンを持つ選好対から情報を抽出する代替手段を動機付けている。 本稿では,比較オーラクルに基づくゼロ階アライメント手法であるComPOを提案し,解析する。 ComPOは、これらのペアから方向情報を抽出し、それらに対して直接的に微分可能な選好損失を最適化する。 我々は,その基本的なオフラインスキームに対する収束保証を,滑らかさ,勾配間隔,およびオラクルと潜在目的との整合性の下で確立する。 さらに、オフライン比較機構を保ち、参照ポリシーに対するリバースKL制御にラベルのないポリシー生成を使用するオンラインComPOについても紹介する。 選好微調整のカバレッジ・パースペクティブ・パースペクティブ・パースペクティブ・パースペクティブ・パースペクティブ・パースペクティブ・イン・ディストリビューション・ペアワイズ・アワードの精度と、局所的カバレッジに基づく基本的な制約付きスキームの性能保証を確立する。 Mistral, Llama, Gemma-2, Qwen3, および Gemma-3 モデルに対する実験は、長さ制御されたウィンドレートを含む既存の直接アライメント法の改善を示す。

関連論文リスト

• Threshold-Guided Optimization for Visual Generative Models [16.556017381410943]
  視覚生成モデルと人間のフィードバックを整合させるためのしきい値誘導フレームワークを提案する。 提案手法は,従来手法よりも常に好みのアライメントを改善する。 これらの結果は、我々の閾値誘導フレームワークを、ペア比較なしで視覚的生成モデルを整列する単純な代替手段として位置づけている。
  論文  参考訳（メタデータ） (2026-05-06T08:59:16Z)
• Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization [13.97375970293678]
  DPO(Direct Preference Optimization)は、その単純さと訓練安定性から、オフライン優先最適化アルゴリズムとして広く使われている。 3つの重要なイノベーションを特徴とする新しいアライメントフレームワークであるLinear Preference Optimization (LPO)を提案する。 まず,対数シグモイド関数を絶対差分損失に置き換え,最適化力学を分離することで勾配デカップリングを導入する。 第2に、選択された応答品質を維持するために、オフセット制約と正の正則化項を組み合わせることで安定性を向上させる。 第3に、直感的な推定を伴う勾配分離と、その相対確率の降下を線形に制御する調整可能な係数を用いて、制御可能な拒絶抑制を実装した。
  論文  参考訳（メタデータ） (2025-08-20T10:17:29Z)
• ComPO: Preference Alignment via Comparison Oracles [26.629761802730258]
  提案手法は,ゼロ階数に基づく新しい選好アライメント手法であり,比較オーラクルによる比較に基づく最適化である。 雑音の多い選好ペアを用いたLCMの性能向上のための実用的スキームの柔軟性と互換性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-05-08T17:56:57Z)
• Permutative Preference Alignment from Listwise Ranking of Human Judgments [40.23480751285947]
  我々はNDCGを異なる代理損失で近似することで、エンドツーエンドのアライメントアルゴリズムを開発する。 我々は,NDCGに基づく手法により,B-T法よりも効率よくランキング精度を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-06T03:49:28Z)
• Geometric-Averaged Preference Optimization for Soft Preference Labels [78.2746007085333]
  LLMを人間の嗜好と整合させる多くのアルゴリズムは、人間の嗜好は二進的かつ決定論的であると仮定する。 本研究では,分散ソフトな選好ラベルを導入し,損失関数におけるLLM出力確率の重み付き幾何平均を用いて直接選好最適化(DPO)を改善する。
  論文  参考訳（メタデータ） (2024-09-10T17:54:28Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。