論文の概要: Uniform Information Density-Based Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.14578v1
• Date: Sat, 10 Oct 2026 04:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:51:11.753821
• Title: Uniform Information Density-Based Preference Optimization
• Title（参考訳）: 均一情報密度に基づく選好最適化
• Abstract要約: 我々は、一様情報密度という確立した心理言語学理論を採用し、新しい選好最適化アルゴリズム、UIDPOを開発した。 我々は,グローバル標準偏差と局所的な二階差を組み合わせることで,情報の均一性に関する複合指標を導出する。 以上の結果から,言語における情報量に対する微妙な人間の嗜好が,LLMの人的アライメント向上に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.9848216583535483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enable large language models to generate outputs that align with human preferences, optimization algorithms based on the comparison between chosen and rejected output pairs have been developed and been proven effective. Some recent endeavors have utilized certain linguistically-derived assumptions about the preference pairs to guide the design of more precise optimization directions. However, human preferences are complex and hard to measure by simplistic criteria, and it is important to incorporate broader and more sophisticated insights about preferred vs. not-preferred language. In this study, we adopt a well-established psycholinguistic theory, Uniform Information Density, to develop a novel preference optimization algorithm, UIDPO. The basic assumption is that humans prefer to produce language in which information is uniformly distributed, because uniformity induces less cognitive processing effort. To implement this idea into the algorithm, we derive a compound metric for information uniformity by combining the global standard deviation and the local second-order difference, and integrate it to the objective of preference optimization. We compare UIDPO with SimPO, a previous state-of-the-art method, obtaining comparable and sometimes better performance on AlpacaEval2, ArenaHard, and MT-Bench. Additional linguistic analysis on complement clauses also shows that UIDPO can better reflect the tendencies of keeping information uniform in natural language than baselines. Our results show that the subtle human preference over the information rate in language is a helpful source for achieving better human alignment for LLMs. The code repository is published here: https://github.com/CLCS-SUSTech/UIDPO.
• Abstract（参考訳）: 大きな言語モデルで人間の好みに合わせた出力を生成するために、選択された出力ペアと拒否された出力ペアの比較に基づく最適化アルゴリズムが開発され、有効であることが証明された。 いくつかの最近の試みは、より正確な最適化方向の設計を導くために、選好ペアに関する言語学的に派生した仮定を利用してきた。 しかし、人間の嗜好は単純化された基準により複雑で測定が難しいため、好ましくない言語と好ましくない言語についてのより広範な、より洗練された洞察を取り入れることが重要である。 本研究では、一様情報密度という確立した心理言語学理論を採用し、新しい選好最適化アルゴリズムUIDPOを開発した。 基本的な前提は、一様性は認知処理の労力を減らし、情報が一様に分散される言語を作り出すことを好む。 このアイデアをアルゴリズムに実装するために、グローバル標準偏差と局所二階差を組み合わせ、情報均一性のための複合計量を導出し、選好最適化の目的と統合する。 UIDPOを従来の最先端手法であるSimPOと比較し、AlpacaEval2、ArenaHard、MT-Benchで同等で時折優れた性能を得る。 補完句に関する追加の言語学的分析は、UIDPOがベースラインよりも自然言語で情報を均一に保つ傾向を反映できることを示している。 以上の結果から,言語における情報量に対する微妙な人間の嗜好が,LLMの人的アライメント向上に有効であることが示唆された。 コードリポジトリは、https://github.com/CLCS-SUSTech/UIDPO.comで公開されている。

関連論文リスト

• CAPO: Confidence Aware Preference Optimization Learning for Multilingual Preferences [4.460583138505673]
  優先順位最適化は、大きな言語モデルと人間の好みを合わせるのに使われ、通常はランク付けされた応答ペアを微調整する。 本稿では,DPO の優先ペアの固定処理を動的損失スケーリング機構に置き換える CAPO (Confidence-Aware Preference Optimization) を提案する。 CAPOは、多言語テキストでよく見られるノイズや低マージンの比較に頑健さを増す。
  論文  参考訳（メタデータ） (2025-11-10T23:28:12Z)
• Data-Centric Human Preference with Rationales for Direct Preference Alignment [23.243583332894737]
  本稿では,人間の嗜好の背景にある理由を説明する理屈による標準選好ペアの強化を提案する。 包括的分析により,合理性を取り入れることで学習効率が向上することが示された。 本研究は,優先学習における思慮深いデータ設計の可能性を示すものである。
  論文  参考訳（メタデータ） (2024-07-19T17:27:52Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
  直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。 まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。 我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
  論文  参考訳（メタデータ） (2024-02-22T21:36:07Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。