論文の概要: The Alignment Tax Is Graded: Task-Selective Capability Loss Under Length-Normalized DPO with SFT Retention

• arxiv url: http://arxiv.org/abs/2611.06476v2
• Date: Thu, 05 Nov 2026 17:53:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.515507
• Title: The Alignment Tax Is Graded: Task-Selective Capability Loss Under Length-Normalized DPO with SFT Retention
• Title（参考訳）: 調整税の格付け:SFT留置長DPOにおけるタスク選択能力の低下
• Abstract要約: 構造化ファイナンシャルファイリングタスクにおいて,LoRAおよび長さ正規化DPOを用いてQwen3.5-4Bを微調整する。 暗黙の報酬マージンが$sim 7$-scaled単位に増加するにつれて、下流の能力を追跡する。
• 参考スコア（独自算出の注目度）: 6.123264899312393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Setting. This is an empirical characterization study; we propose no new method and run no comparisons against alternative objectives. We fine-tune Qwen3.5-4B with sparse LoRA and length-normalized DPO plus an SFT retention term (the RPO objective) on structured financial-filing tasks, and track downstream capability as the implicit reward margin grows to $\sim 7$ $β$-scaled units (nf4 training; $\sim 3$ under fp16 measurement on the unquantized base). Question. Does margin growth degrade capability uniformly across tasks, or selectively? Findings. In a pre-registered study (8 seeds, 6 unseen at freeze) with artifact-aware scoring and TOST equivalence testing, the alignment tax is graded and task-selective: extraction is preserved ($Δ= -0.55$ pts, equivalent at $\pm5$ pts), json loses little ($Δ= -3.52$ pts, equivalence fails on a clustered item-level interval), and router degrades severely ($Δ= -30$ pts). Router's loss concentrates in a margin 1-3 damage window containing a transient format-break spike. The margin is accounted for almost entirely ($\geq 96\%$) by suppression of rejected completions, with chosen reward approximately flat, consistent with the retention term anchoring it; we do not attribute the behavioral damage to any single gradient channel. Gold-logp deflation is task-selective (extraction $-0.15$, json $-1.04$, router $-1.47$ nats/token under fp16), with gold selectively protected relative to incorrect controls on extraction (8/8 seeds). QLoRA reward margins differ up to $3.4\times$ between nf4 training and unquantized fp16 measurement, with an axis-dependent gap. Scope. Length-normalized rewards with SFT retention, sparse LoRA on 8/32 layers, one 4B model, easily-separable synthetic preferences, three structured tasks. A no-retention control and a measured format-alignment metric are left to future work.
• Abstract（参考訳）: 設定。 本研究は,新しい手法は提案せず,代替目的との比較も行わないという実証的研究である。 本研究は,Qwen3.5-4Bを疎LoRAと長さ正規化DPOとSFT保持項(RPO目標)で微調整し,暗黙の報酬マージンが増大するにつれて下流の能力を追跡する(nf4トレーニング;$\sim 3$ under fp16 Measurement on the unquantized base)。 質問。 マージン成長能力はタスク全体にわたって均一に低下するか、それとも選択的に低下するか? 発見。 事前登録された調査(8種、6凍結時に見つからない)において、アライメントのスコアとTOSTの等価性テストにより、アライメント税はグレードされ、タスク選択される: 抽出は保存される(Δ=-0.55$ pts, equivalent at $\pm5$ pts)、jsonはわずかに(Δ=-3.52$ pts, equivalence fails on a clustered item-level interval)、ルータは著しく劣化する(Δ=-30$ pts)。 ルータの損失は、一過性のフォーマットブレークスパイクを含むマージン1-3の損傷ウィンドウに集中する。 マージンは、ほとんど完全に(\geq 96\%$)、拒否された完了の抑制によって説明され、選択された報酬は、それを固定する保持期間とほぼ一致する。 金-logpデフレはタスク選択(抽出$-0.15$, json $-1.04$, router $-1.47$ nats/token under fp16)であり、抽出の不正な制御(8/8シード)に対して金は選択的に保護されている。 QLoRAの報酬マージンは、nf4トレーニングとfp16測定で最大$3.4\times、軸依存のギャップを持つ。 スコープ。 SFT保持による長さ正規化報酬、8/32層でのLoRAの分離、4Bモデル、容易に分離可能な合成選好、3つの構造化タスク。 非保持制御と測定されたフォーマットアライメントメトリックは、将来の作業に委ねられる。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• SFT Leaves a Reproducible Signature in Activation Geometry: Calibrating Post-Training Interpretability Against Run-to-Run Noise [1.1100644183117303]
  基本$to$SFTは、4つの独立したLoRA-SFTラン間の平均距離を超える17.8対距離のSDをグラフに置き換えることを示す。 4つのSFTと4つのDPOランは、バンドを使わずに2本の腕を広げる5.0タイムと5.6タイムのギャップを占有している。
  論文  参考訳（メタデータ） (2026-10-12T16:50:45Z)
• Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts [45.31502436468577]
  本稿では, 分散分布の局所化から, アクティブなエキスパート予算を$k$とするElastic Expert Routingを提案する。 サンプリング近傍は対称のままであるため、この手法は決定論的トレーニングの予測計算コストと一致する。 オフスクラッチ事前トレーニングでは、検証LM損失を0.04ドルまで減らし、静的のトップ$k$ベースラインを平均16ドルポイント上回る。
  論文  参考訳（メタデータ） (2026-10-08T09:31:19Z)
• TileSkipper: Region-Adaptive Tile Pruning for 3D Gaussian Splatting [60.48772713715659]
  TileSkipperは凍結チェックポイントに対して、ガウス単位の静的カットオフポリシーを選択する。 Mip-NeRF 360、Tants & Temples、Deep Blendingの13のシーンで、固定政治のAccuTileスイープは、標準解像度で1.088times$、幅で1.238times$3840Pixelsというデータセットとマクロのスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-10-07T03:01:51Z)
• Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes [41.99844472131922]
  DDQLに対する平均的な実装不足は、学習済みの構成が大幅に改善されることはない。 命令実行のための深い強化学習ポリシーは、訓練種によって大きく異なる可能性がある。 アクロスシード分散は、K=8$で最低であるが、非モノトンであり、家族的な調整には堅牢ではない。
  論文  参考訳（メタデータ） (2026-10-02T14:27:26Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models [0.0]
  我々は3つのQwen3.5高密度スケールにおける手続きスキルSFTの寄与を測定した。 SFT対応のプロシージャ$$リフトは、大まかに一様である。
  論文  参考訳（メタデータ） (2026-05-12T10:19:33Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。