論文の概要: Shortcuts in the Tail: Debiasing via Post-Hoc Spectral Compression of Fine-Tuning Updates

• arxiv url: http://arxiv.org/abs/2606.07596v1
• Date: Fri, 29 May 2026 05:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.759681
• Title: Shortcuts in the Tail: Debiasing via Post-Hoc Spectral Compression of Fine-Tuning Updates
• Title（参考訳）: 爪のショートカット : 焦点後スペクトル圧縮による微調整更新による脱バイアス
• Abstract要約: 微調整は、しばしばタスク知識と急激な相関を導入し、不足したグループに体系的な失敗を引き起こす。 W = W_mathrmft - W_mathrmbase$のSVDのテールを切断することで、タスク精度を維持しながら、スプリアスグループギャップを低減できる。
• 参考スコア（独自算出の注目度）: 0.47963487028876156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning often introduces spurious correlations alongside task knowledge, causing systematic failures on underrepresented groups. Existing mitigations require retraining, group labels, or curated counterfactual data. We show a simple post-hoc intervention reduces shortcut reliance without any of these: truncating the tail of the SVD of $ΔW = W_\mathrm{ft} - W_\mathrm{base}$ reduces the spurious-group gap while preserving task accuracy. Across three instruction-tuned models ($0.5$B--$7$B) and four classification benchmarks, top-$k$ truncation reduces the gap on every cell at $<2$ pp accuracy loss, by up to $5\times$ on CivilComments. We propose this works because the shortcut response sits in the tail of the singular ordering of $ΔW$, a claim about how truncation behaves rather than about the raw singular values, which are broadly distributed and look the same across all four datasets. A controlled boundary case in which fine-tuning has only a shortcut to learn shows the predicted FT-to-base collapse, and bottom-/random-$k$ and matched-rank LoRA controls rule out generic low-rank approximation and rank-constrained training as the explanation. We read this as preliminary evidence that the singular basis of $ΔW$ is a useful coordinate system for studying what fine-tuning has learned.
• Abstract（参考訳）: 微調整は、しばしばタスク知識と急激な相関を持ち込み、未表現のグループに体系的な失敗を引き起こす。 既存の緩和には、再訓練、グループラベル、あるいは修正済みの偽物データが必要である。 SVDの尾部を$ΔW = W_\mathrm{ft} - W_\mathrm{base}$とすることで、作業精度を保ちながら、急激なグループギャップを減らすことができる。 3つの命令チューニングモデル(0.5$B--7$B)と4つの分類ベンチマークで、トップ$k$truncationは各セルのギャップを$<2$ppの精度で減らし、CivilCommentsでは最大$5\times$まで下げる。 ショートカット応答は, 4つのデータセットのすべてに広く分布し, 同じように見える原特異値よりも, トランケーションがどのように振る舞うかという主張であるΔW$の特異順序の尾にあるため, この手法を提案する。 微調整で学習するショートカットしか持たない制御境界の場合、予測されたFT-to-baseの崩壊を示し、ボトム/ランドム-$k$とマッチしたランクのLoRA制御は、一般的な低ランク近似とランク制約付きトレーニングをその説明として除外する。 我々はこれを、$ΔW$の特異基底が微調整が何を学んだかを研究するのに有用な座標系であることの予備的証拠として読む。

関連論文リスト

• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning [3.9562791462574602]
  本稿では, 層間関係ドリフトの解析を通して, 破滅的な忘れ方について考察する。 我々は、アンダーラインSelf-underlineRectifying inter-layer underline Relation Low-Rank Adaptation (SR$2$-LoRA)を提案する。 標準CILベンチマークの実験では、SR$2$-LoRAは破滅的な忘れを効果的に緩和することを示した。
  論文  参考訳（メタデータ） (2026-05-08T08:14:50Z)
• Fairness is Not Flat: Geometric Phase Transitions Against Shortcut Learning [45.88028371034407]
  本稿では,ショートカット学習を緩和するための幾何学的テクスタ事前手法を提案する。 ゼロ隠れ層(N=1$)のトポロジカルオーディターを配置することにより、人間の介入なしに勾配を独占する特徴を数学的に分離する。
  論文  参考訳（メタデータ） (2026-04-13T16:40:26Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Theoretical limits of descending $\ell_0$ sparse-regression ML algorithms [0.0]
  本研究では,emphmaximum-likelihood (ML)デコーディングの性能解析プログラムを開発した。 ML性能パラメータの鍵となるのは、残留エンフェロ平均二乗誤差(textbfRMSE$)を発見し、いわゆるエンフェロ遷移(PT)現象を示す。 Fl RDTの具体的実装と実用的妥当性は、典型的には、基礎となる数値評価のサイズのセットを実行する能力に依存している。
  論文  参考訳（メタデータ） (2024-10-10T06:33:41Z)
• Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks [93.00280593719513]
  本稿では,オンラインインタラクションのT$ステップをバッチに分割したバッチフィードバックによる高次元マルチアームコンテキストバンドレットについて検討する。 具体的には、各バッチは以前のバッチに依存するポリシーに従ってデータを収集し、その報酬はバッチの最後にのみ明らかにする。 我々のアルゴリズムは,$mathcalO( log T)$ バッチで完全に逐次的に設定されたものに匹敵する後悔の限界を達成している。
  論文  参考訳（メタデータ） (2023-11-22T06:06:54Z)
• Greedy Pruning with Group Lasso Provably Generalizes for Matrix Sensing [30.508036898655114]
  プルーニングスキームは、大量のパラメータを持つ訓練されたモデルの複雑さを減らすために、実際に広く用いられている。 正規化がない場合の勾配降下は、グリーディプルーニングに適さないモデル、すなわち、多くの列が最大値に匹敵する$ell$ノルムを持つことができる。 以上の結果から,グリーディ・プルーニング+ファインチューニングがより小さなモデルに繋がる理由について,より厳密な考察が得られた。
  論文  参考訳（メタデータ） (2023-03-20T21:05:44Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。 我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2023-03-05T15:11:14Z)
• Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive Multi-Step Bootstrap [84.66885506098724]
  本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。 AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。 また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
  論文  参考訳（メタデータ） (2021-02-09T07:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。