論文の概要: DimPO: Dimensionality Reduction for Attention using Preference Optimization

• arxiv url: http://arxiv.org/abs/2609.32579v1
• Date: Sat, 26 Sep 2026 12:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 06:00:40.997132
• Title: DimPO: Dimensionality Reduction for Attention using Preference Optimization
• Title（参考訳）: DimPO: 優先度最適化を用いた注意の次元化
• Abstract要約: 線形射影は、事前訓練されたモデルを更新することなく、クエリとキーベクトルの次元を減少させることができるが、どのトレーニング対象がモデル挙動を最もよく保存するかは、まだ不明である。 最大重み付き鍵に対するキーとアテンションマスの嗜好が、全アテンション分布とKLの発散とを一致させるよりも良い信号を提供するかどうかを問う。 本稿では、リストワイドな選好最適化と、頭部忠実度を表す軽量なトップkクロスエントロピー項を組み合わせたDimPOを提案する。
• 参考スコア（独自算出の注目度）: 11.300022574469105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A linear projection can reduce the dimension of query and key vectors without updating the pretrained model, but it remains unclear which training objective best preserves model behavior. We ask whether preferences over keys and attention mass on the highest-weighted keys provide a better signal than matching the full attention distribution with KL divergence, especially in long-context settings. We introduce DimPO, which combines listwise preference optimization with a lightweight top-k cross-entropy term for head-fidelity. DimPO is trained offline from the attention patterns of a frozen language model, with one map per layer, shared by the query and the keys and trained separately from the other layers. Across LLaMA3.2-3B, LLaMA3.1-8B, Qwen2.5-7B, and Qwen3-4B Instruct models, pairwise preference objectives outperform the triplet baseline and retain 98% of the original score on short-context tasks when projecting to half the dimension on the last 40% of the layers. With more projected layers or on long-context RULER, they degrade rapidly. In contrast, KL and DimPO, which use every key during training, retain about 95% of the original RULER 4k score on the 8B model when projecting up to 50% of the layers. KL-based projections remain closer to the original attention distribution and attention output, yet DimPO achieves better downstream performance. Beyond 50% of projected layers, DimPO increasingly outperforms KL on tasks including SQuAD, common-word extraction, frequent-word extraction, and variable tracking. These results suggest that under dimensionality reduction, preserving the ordering and concentration of task-relevant attention can matter more than reproducing the full attention distribution.
• Abstract（参考訳）: 線形射影は、事前訓練されたモデルを更新することなく、クエリとキーベクトルの次元を減少させることができるが、どのトレーニング対象がモデル挙動を最もよく保存するかは、まだ不明である。 鍵の重み付けされた鍵に対する注目度よりも、特に長時間コンテキスト設定において、注意分布とKLの偏差を一致させるよりも、より優れた信号を提供するかどうかを問う。 本稿では、リストワイドな選好最適化と、頭部忠実度を表す軽量なトップkクロスエントロピー項を組み合わせたDimPOを提案する。 DimPOは、凍結した言語モデルの注意パターンからオフラインでトレーニングされ、レイヤ毎に1つのマップを持ち、クエリとキーで共有され、他のレイヤとは独立してトレーニングされる。 LLaMA3.2-3B、LLaMA3.1-8B、Qwen2.5-7B、Qwen3-4B インストラクションモデルでは、ペアの選好目的は三重項ベースラインよりも優れており、各層の最後の40%の寸法に投影される場合の短文脈タスクにおいて、元のスコアの98%を維持している。 よりプロジェクションされたレイヤや長いコンテキストのRULERでは、急速に劣化する。 対照的に、トレーニング中にすべてのキーを使用するKLとDimPOは、8BモデルのオリジナルのRULER 4kスコアの95%を保持できる。 KLベースのプロジェクションは、元のアテンション分布とアテンション出力に近づき続けているが、DimPOはより優れたダウンストリーム性能を実現する。 プロジェクションされたレイヤの50%を超え、DimPOはSQuAD、コモンワード抽出、頻繁なワード抽出、変数追跡といったタスクでKLを上回っている。 これらの結果は, 次元性低下の下では, タスク関連注意の順序と集中は, 全注意分布を再現するよりも重要であることを示唆している。

関連論文リスト

• Interpreting Language Model Hidden States at Scale [4.6424858468806915]
  OmniLenは、残差ストリーム、アテンション、トランスレータなど、任意のモデル幅のアクティベーションに単一レンズファミリを適用し、2つの独立したスケーリング技術を組み合わせる。 これらのセーブにより、LLaMA-3.3-70B用の482個のレンズが密集し、同じ深さで残留ストリーム設計のカバーを6倍にすることができる。
  論文  参考訳（メタデータ） (2026-08-10T21:49:45Z)
• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models [8.637110868126546]
  MAGICは、マルチモーダル命令チューニングのためのトレーニングフリー、フォワードオンリーのコアセット選択方法である。 予め訓練されたVLMから抽出された3つの固有信号に基づいて構築される。 MAGICは20%の予算で強いベースラインを継続的に改善する。
  論文  参考訳（メタデータ） (2026-05-25T16:22:09Z)
• CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models [7.489020109808801]
  われわれは,クロスパラダイム・ビジョン・ランゲージ・アクション(VLA)のポストトレーニングに関する実証的研究であるCrossVLAを報告する。 i) 確率フローODE統合なしでDPOを連続動作バックボーンで操作できる代理フローマッチングログ確率推定器、(ii) VLA DPOのパラメータ係数層としてのLoRAとDoRAの頭と頭の比較、(iii) ノイズループを示す推論時間解剖学は、サンプル_actions遅延の78.6%、プレフィックス-K/Vキャッシングのラを支配している。
  論文  参考訳（メタデータ） (2026-05-21T01:02:41Z)
• Linear Predictability of Attention Heads in Large Language Models [0.5833117322405447]
  事前学習したトランスフォーマーは,頭部間線形構造が広範に存在することを示す。 我々は、参照ヘッドKV状態のみをキャッシュし、残りのヘッドをオンザフライで再構築することでこれを活用します。
  論文  参考訳（メタデータ） (2026-03-04T09:04:03Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• Weights-Rotated Preference Optimization for Large Language Models [30.25242193651982]
  本稿では,DPO から受け継いだ KL 発散量に対して,出力層ロジットを暗黙的に制約する,新しい重み付き優先度最適化 (RoPO) アルゴリズムを提案する。 我々の RoPO は AlpacaEval 2 の 3.27 点改善を実現し,トレーニング可能なパラメータの 0.015% を MT-Bench の 6.2 から 7.5 点 で上回っている。
  論文  参考訳（メタデータ） (2025-08-25T03:57:17Z)
• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。