論文の概要: ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization

• arxiv url: http://arxiv.org/abs/2610.29410v1
• Date: Wed, 21 Oct 2026 08:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.290631
• Title: ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization
• Title（参考訳）: ECHO: 先進的なCommon-Mode Hidden Offsetsドライブボキャブラリの崩壊を優先最適化
• Abstract要約: 我々は、優先順位の最適化が、生成を破壊できる隠蔽された共有表現シフトを構築しながら、ランキングの指標を改善できることを示します。 この失敗は、トークンの位置、プロンプト、そして選択された応答と拒否された応答の両方に現れるモデルの隠れ状態の共有方向シフトである共通モードオフセットに遡る。 これらの結果は、標準的なランキング指標の盲点を明らかにし、発生前に世代崩壊を警告できる表現レベル信号を導入している。
• 参考スコア（独自算出の注目度）: 9.75159490914078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference optimization can improve every ranking metric while building a hidden, shared representation shift that the relative loss barely sees, one that can eventually destroy generation. We trace this failure to the common-mode offset, a shared directional shift in the model's hidden states that appears across token positions, prompts, and both chosen and rejected responses. Because it moves chosen and rejected representations together, the relative ranking loss barely reacts to its accumulation. As this offset grows, it projects onto the output layer to form a vocabulary well, elevating a single token's probability until it dominates decoding and causes generation collapse. The isolated offset alone reconstructs the vocabulary well, injecting the learned offset into an untreated base model recreates the collapse where norm-matched random directions do not, and masking this common component from the loss prevents the well in our flagship setting. Under the per-token ranking loss we study, the same collapse appears in 14 of 17 base-model lineages and under full-parameter fine-tuning. Moreover, the offset is not merely an artifact of collapse, since it is already present in textbook DPO and SimPO runs that form no well. Textbook DPO keeps it weakly aligned with any single vocabulary direction even with three times our base budget. Trained from base models for that budget, however, full-parameter SimPO drives it into collapse on both Llama-2 and Llama-3.1, and the same kind of offset grows, without a well, from a public SFT checkpoint under the official SimPO recipe. Across 17 UltraFeedback runs, the better a run ranks held-out responses, the less often two public reward models prefer its samples to the base model's. These findings expose a blind spot in standard ranking metrics and introduce a representation-level signal that can warn of generation collapse before it occurs.
• Abstract（参考訳）: 優先度最適化は、相対的な損失がほとんど見ることのない、隠れた共有表現シフトを構築しながら、すべてのランキングメトリックを改善することができる。 この失敗は、トークンの位置、プロンプト、そして選択された応答と拒否された応答の両方に現れるモデルの隠れ状態の共有方向シフトである共通モードオフセットに遡る。 選択された表現と拒否された表現を一緒に移動するので、相対的なランクの損失はその蓄積にほとんど反応しない。 このオフセットが大きくなると、出力層に投影されて語彙がうまく形成され、単一のトークンの確率が上昇し、デコードが支配され、生成が崩壊する。 分離されたオフセットのみが語彙をうまく再構成し、学習されたオフセットを未処理のベースモデルに注入することで、標準マッチングされたランダムな方向が通らないような崩壊を再現し、この共通成分を損失から隠蔽することで、我々の旗艦設定の井戸を防ぎます。 その結果,17系統のうち14系統で同じ崩壊がみられ,全パラメータの微調整が行なわれた。 さらに、このオフセットは単なる崩壊の成果物ではなく、教科書のDPOやSimPOにすでに存在している。 Textbook DPOは、基本予算の3倍であっても、単一の語彙方向を弱く保ちます。 しかし、その予算のためにベースモデルから訓練され、フルパラメータのSimPOはLlama-2とLlama-3.1の両方で崩壊し、同じ種類のオフセットが、公式のSFTチェックポイントからSimPOのレシピの下で成長する。 17回のUltraFeedbackの実行で、ランのランクが保たれるほど、2つの公開報酬モデルではベースモデルよりもサンプルが好まれる。 これらの結果は、標準的なランキング指標の盲点を明らかにし、発生前に世代崩壊を警告できる表現レベル信号を導入している。

関連論文リスト

• We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong [54.63769685905746]
  拡散バックボーンは、ネットワークフォワードコール中に多くの中間活性化を生成する。 同一のベンチマークプロトコルに対して各アクティベーションを評価すると、深さプロファイルとして逆U字曲線をプロットできる。 これは拡散モデルコミュニティにおいて一般的な知識であり、広く採用されているREPAを含む多くの応用に刺激を与えている。 トレーニング設定の予測目標に基づいて,REPAのほぼ最適配置を予測する方法について述べる。
  論文  参考訳（メタデータ） (2026-10-10T03:26:50Z)
• One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models [7.136614919394685]
  タスク依存効果の統一的な幾何学的説明を提供する。 ゼロショット分類では、クエリ側固定ギャップオフセットサブトラクションは、正に加法クラスバイアスと同値である。 混合モーダル検索では、ギャップ方向は候補をモダリティでソートする。
  論文  参考訳（メタデータ） (2026-09-28T18:40:27Z)
• The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search [19.846305722187328]
  Retrieval-Augmented Generation (RAG)は、多様なポートフォリオ生成にシフトする。 これは2つの重要なボトルネック、すなわち証拠利用率の欠陥測定と、最適条件下予算配分によって悪影響を受けている。 本稿では,遺伝子依存を正確に分離する因果排除プローブを提案する。 モノリシック・コンテキスト・ワイドニング(モノリシック・コンテキスト・ワイドニング)の一般的な戦略は、関連性の崩壊によって罰せられるアーキテクチャ・トラップであることを示す。
  論文  参考訳（メタデータ） (2026-08-24T13:44:11Z)
• The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and What Actually Works [3.040305634723913]
  群正規化RLの下では、ポテンシャルに基づく予測報酬が全てのランを退化吸収状態に駆動することを示す。 単一エピソードアブレーションは原因を和らげる -- GRPOの正規化だけを取り除くことで、破滅からベースラインパリティへと同じ報酬が変わる。 我々の中心的な洞察はこれを一般化している: z-scoring amplify は、全フェイル群が支配的である間、高密度信号の群内分散である。
  論文  参考訳（メタデータ） (2026-07-23T12:50:18Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• The UNDO Flip-Flop: A Controlled Probe for Reversible Semantic State Management in State Space Model [0.0]
  状態空間モデル(SSM)は、星のないシーケンシャルタスクと有界階層構造の両方をモデル化する理論的能力を持っていることが示されている。 このギャップを埋めるためにUNDO Flip-Flopタスクを導入します。 我々は,この枠組みの下で一層および二層マンバ-2を評価する。
  論文  参考訳（メタデータ） (2026-04-07T14:23:40Z)
• ARGENT: Adaptive Hierarchical Image-Text Representations [12.724220731465392]
  本稿では,より強力な双曲型VLMベースラインARGENT,Adaptive hieRarchical imaGe-tExt rereseNTationを導入する。 本稿では,より強力な双曲型VLMベースラインARGENT,Adaptive hieRarchical imaGe-tExt rereseNTationを提案する。
  論文  参考訳（メタデータ） (2026-03-24T15:14:12Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• RePO: Understanding Preference Learning Through ReLU-Based Optimization [66.098833436503]
  本稿では,ReLUに基づくPreference Optimization (RePO)を提案する。 RePOは、ロジスティック重み付けが二項しきい値に崩壊するSimPOの制限ケース(「infty$」の略)として特徴付けられる。 AlpacaEval 2 と Arena-Hard の実証結果は、RePO が複数のベースモデルで DPO と SimPO を上回っていることを示している。
  論文  参考訳（メタデータ） (2025-03-10T15:11:07Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。