論文の概要: Masking Frequent Tokens Sharpens Direct Preference Optimization

• arxiv url: http://arxiv.org/abs/2609.32445v1
• Date: Sat, 26 Sep 2026 10:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:05:28.259136
• Title: Masking Frequent Tokens Sharpens Direct Preference Optimization
• Title（参考訳）: Masking Frequent Tokens Sharpens Direct Preference Optimization
• Abstract要約: 高周波トークンタイプの不均等に小さなサブセットが累積シーケンススコアを支配している。 本稿では,emphAnisotropic DPOとその標準実現であるemphFrequency-Hard DPOを紹介する。 本手法は,高頻度応答トークンの暗黙的な報酬貢献をゼロとし,単位重みを情報的位置に割り当てる。
• 参考スコア（独自算出の注目度）: 4.309108879640932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) aligns language models by optimizing over sequence-level sums of token-wise implicit reward differences. However, we identify a pervasive pathology in this formulation: a disproportionately small subset of high-frequency token types dominates cumulative sequence scores while appearing symmetrically across both preferred and dispreferred responses. Specifically, under canonical Qwen tokenization on Anthropic HH-RLHF, merely 69 token types account for $55.1\%$ of all response tokens and $85.9\%$ of within-pair shared token mass, exhibiting substantially lower preference-side specificity than the remaining vocabulary. This symmetric ubiquity induces gradient entanglement and dilutes the discriminative preference signal propagated through the objective. To resolve this issue, we introduce \emph{Anisotropic DPO} (\textsf{ADPO}) and its canonical realization, \emph{Frequency-Hard DPO}. Using a fixed, label-agnostic vocabulary mask, our method zeroes the implicit reward contribution of high-frequency response tokens while assigning unit weight to informative positions, thereby suppressing gradient interference without modifying preference pairs, discarding context, or introducing learned parameters. Here, \emph{anisotropy} designates non-uniform token-level objective weighting rather than representational geometry. Extensive empirical evaluations on AlpacaEval, MT-Bench, and Arena-Hard demonstrate that Frequency-Hard DPO consistently outperforms standard DPO across Qwen-2.5-7B-Instruct and Llama-3-8B-Instruct, establishing that selectively masking shared high-frequency tokens offers an effective, zero-overhead mechanism for robust preference alignment.
• Abstract（参考訳）: DPO(Direct Preference Optimization)は、トークン単位の暗黙的な報酬差のシーケンスレベルの和を最適化することで、言語モデルを調整する。 しかし, この定式化では, 高頻度トークン型の不均等に小さなサブセットが累積シーケンススコアを支配し, 好ましくない応答と好ましくない応答の両方に対称に現れる。 具体的には、HH-RLHFのカノニカルなQwenトークン化の下では、69種類のトークンが全ての応答トークンの5.5.1\%、および85.9\%の共通トークン質量の85.9\%を占めており、残りの語彙よりもかなり好み側の特異性を示している。 この対称なユビキティは勾配の絡み合いを誘導し、目的を通して伝播する識別的選好信号を希釈する。 この問題を解決するために、 \emph{Anisotropic DPO} (\textsf{ADPO}) とその標準実現である \emph{Frequency-Hard DPO} を導入する。 固定されたラベルに依存しないボキャブラリマスクを用いて、単位重みを情報的位置に割り当てながら、高周波応答トークンの暗黙的な報酬貢献をゼロにすることで、好みのペアを変更したり、コンテキストを破棄したり、学習パラメータを導入したりすることなく、勾配干渉を抑える。 ここで、emph{anisotropy} は表現幾何学よりも非一様トークンレベルの客観的重み付けを規定する。 AlpacaEval, MT-Bench, および Arena-Hard に対する広範囲な実験的な評価は、周波数-ハード DPO がQwen-2.5-7B-Instruct と Llama-3-8B-Instruct で標準 DPO を一貫して上回り、共有された高周波トークンを選択的にマスキングすることで、堅牢な優先順位調整のための効果的なゼロオーバーヘッド機構が提供されることを証明している。

関連論文リスト

• Sparse Attention for Dense Open-Vocabulary Prediction in CLIP [54.45759517856271]
  最終視覚的自己注意層における行方向のソフトマックスの推測時間置換について検討した。 entmaxは低得点を正確に0にマッピングするデータ依存しきい値を適用するため、暗黙のデノイザとして機能する。 オープン語彙タスクセンスセマンティックセマンティックセグメンテーション (Pascal VOC, Pascal Context, ADE20K) ときめ細かい検索 (FG-OVD) について検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:30:48Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• MaskAlign: Token-Subset Representation Alignment for Efficient Diffusion Training [53.777757218665386]
  MaskAlignは、トレーニング中にランダムにサンプリングされたトークンサブセットにアライメントを適用するトークン-サブセット表現アライメント手法である。 我々は、MaskAlignが完全なトークン集合への配向の依存を減らし、トークン-サブセット摂動下でより安定な配向挙動を促進することを示す。
  論文  参考訳（メタデータ） (2026-06-07T19:11:22Z)
• TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching [20.353416189523006]
  標準的なシーケンスレベルのペアワイズ比較のみを用いてトークンレベルの最適性を回復する方法を示す。 本稿では,軽量な状態ベースラインを明示的に学習するTBPO-Qと,高次正規化によりベースラインを除去するTBPO-Aの2点を紹介する。
  論文  参考訳（メタデータ） (2026-05-12T15:44:33Z)
• TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation [0.0]
  高価値セマンティックトークンを優先するトークン重み付き参照調整アドバンテージが提示される。 医療コミュニケーションアノテーションを用いたTAB-POの評価を行った。
  論文  参考訳（メタデータ） (2026-02-03T23:48:13Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• SparsePO: Controlling Preference Alignment of LLMs via Sparse Token Masks [19.58547231973585]
  我々は,POトレーニング中に各トークンに対応するKL分散と報酬の重み付けを自動的に学習する,フレキシブルな目標SparsePOを提案する。 本手法は,要約および対話シナリオにおいて,+10%および+3%の勝利率ポイントを得る。
  論文  参考訳（メタデータ） (2024-10-07T15:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。