論文の概要: Rank Measures of Fine-Tuning Updates Need a Noise Baseline

• arxiv url: http://arxiv.org/abs/2610.22438v1
• Date: Thu, 15 Oct 2026 13:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.595252
• Title: Rank Measures of Fine-Tuning Updates Need a Noise Baseline
• Title（参考訳）: 騒音ベースラインによる微調整更新のランク測定
• Abstract要約: 微調整が言語モデルにどのような影響を及ぼすかについての研究は、しばしばそのランクによってW$の重み付けを要約する。 これに用いるランク測度を、同じ形状のランダム行列で同じ測定値と比較し、事前訓練された重み付けと、アライメントを伴わない微調整の2つのより難しい基準と比較する。 方向を数えることで、微調整の更新はノイズを少し下回るだけになり、安定したランクは、同じ特異値から計算され、より下位に置かれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Studies of what fine-tuning does to a language model often summarise the weight update $ΔW$ by its rank. We compare the rank measures used for this against the same measures on a random matrix of the same shape, and against two harder references: the pretrained weights, and matched fine-tunes without alignment content. Measures that count directions put our fine-tuning updates only a little below noise; stable rank, computed from the same singular values, puts them far below. Both are right: an update has a few strong directions on top of a long tail. The pattern holds for thirteen released pairs up to 8B parameters, and it is not a mark of alignment: with training held fixed, instruction data does not stand out from Wikipedia or code, DPO gives the same update whether its preference labels are real or half swapped at random (one model, modest preference strength), and scrambled text gives the most concentrated update of all. Applied to a recent claim that post-training is superficial because the effective rank of the weights barely changes, the baselines show that a random update of the same size leaves that rank almost unchanged while wrecking the model, and that an edit built on the effective rank of the update has no measurable effect in our tests. Rank measures of weight updates need a noise baseline, and claims about alignment need a control without alignment content.
• Abstract（参考訳）: 言語モデルに対する微調整の研究は、しばしばそのランクによって$ΔW$の重み付けを要約する。 これに用いるランク測度を、同じ形状のランダム行列上の同じ測度と、事前訓練された重みと、アライメントを伴わない微調整の2つのより難しい基準と比較する。 方向を数えることで、微調整の更新はノイズを少し下回るだけになり、安定したランクは、同じ特異値から計算され、より下位に置かれる。 どちらも正しい。アップデートには長い尾の上部にいくつかの強い方向がある。 13個のリリース済みのペアを8Bパラメータまで保持し、アライメントのマークではない。トレーニングが保たれた状態では、命令データはウィキペディアやコードから目立たず、DPOは、その好みラベルがランダム(1つのモデル、控えめな好み強度)で真か半分にスワップされているかで同じ更新を与え、スクランブルテキストは最も集中した更新を提供する。 重みの有効ランクがほとんど変化しないため、ポストトレーニングは表面的であるという最近の主張に適用すると、ベースラインは、モデルを破壊している間、同じサイズのランダムな更新はほとんど変化せず、この更新の有効ランクに構築された編集は、我々のテストで測定可能な効果がないことを示している。 重み更新のランクはノイズベースラインを必要とし、アライメントに関する主張は、アライメント内容なしで制御する必要がある。

関連論文リスト

• ReGRA: Residual-Gradient Adaptation for Complementary Low-Rank Fine-Tuning [10.59750444734296]
  低ランク適応(LoRA)は、低ランクの重み更新を学習することでパラメータ効率の良い微調整を可能にする。 ランクの上昇は適応能力を高めるが、学習した全ての方向が下流のパフォーマンスを改善することを保証しない。 固定格の予算をより効果的に活用するための2段階の手法であるResidual-Gradient Adaptation (ReGRA)を提案する。
  論文  参考訳（メタデータ） (2026-10-14T07:23:50Z)
• Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation [55.54635884641362]
  テストタイムトレーニングは、モデルが推論中に重みに情報を格納することを可能にする。 各更新では、次のトレーニング例を生成するモデルも変更される。 生成されたテキストの更新を保持する128Kのトーケンストリームは、独立した人文テキストの予測を悪化させる。
  論文  参考訳（メタデータ） (2026-10-04T09:21:14Z)
• WHALE: A Simple Recipe for Joint Harness-Weight Optimization [48.550149284101536]
  WHALE(Weight-Harness Alternating LEarning)は、2つのフェーズを切り替えるレシピである。 3つの領域にわたるQwen3.5-2B/4Bエージェント(質問応答、数学的推論、チェスパズル)を使用して、WHALEは重量のみ、ハーネスのみ、Fast-Slow Trainingの4.15-24.38ポイントを最高の平均@8の精度で上回る。
  論文  参考訳（メタデータ） (2026-08-31T18:12:55Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Notes on the Reward Representation of Posterior Updates [1.0247773757446124]
  固定確率モデルにおいて, KL-正則化ソフトアップデートがベイズ後部である場合について検討した。 この体制では、行動の変化は、そのチャネルによって実行される証拠によってのみ引き起こされる。 後続のアップデートは、行動を変える相対的な文脈依存のインセンティブ信号を決定するが、絶対的な報酬は決定しない。
  論文  参考訳（メタデータ） (2026-02-02T23:37:39Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• t-Soft Update of Target Network for Deep Reinforcement Learning [8.071506311915396]
  本稿では,深部強化学習(DRL)のためのターゲットネットワークの頑健な更新ルールを提案する。 指数移動平均と正規分布の類似性からt-soft更新法を導出した。 DRLのPyBulletロボットシミュレーションでは、t-soft更新によるオンラインアクター批判アルゴリズムが、得られたリターンおよび/またはそのばらつきの点で従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-25T07:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。