論文の概要: When Rank Rises as LLMs Degrade

• arxiv url: http://arxiv.org/abs/2610.09647v1
• Date: Wed, 07 Oct 2026 08:22:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.795794
• Title: When Rank Rises as LLMs Degrade
• Title（参考訳）: LLMが低下する中、ランキング上昇の兆し
• Abstract要約: ポストトレーニングは、非定常環境における言語モデルに適応する。 実践者はRangeMeと関連するスペクトル統計を用いて、表現の健康を監視します。 LLMポストトレーニングでは,この仮定は安全でないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training adapts language models in non-stationary environments. Practitioners monitor representation health with RankMe and related spectral statistics, often assuming that rank falls when representations degrade. We show that this assumption is unsafe for LLM post-training. In a controlled study of Qwen3-0.6B with four degradation modes and three seeds, data duplication worsens held-out loss by 75% relative to healthy while increasing both original and centred RankMe; the latter changes by 13.5 pooled standard deviations. Covariance effective rank rises to nearly twice its healthy value. This failure is spectral dispersion rather than collapse, so a one-sided monitor rates the worst checkpoint as the healthiest. By contrast, a learning-rate misconfiguration lowers centred RankMe and k95, while uncentred RankMe is inconsistent across seeds. Direction is therefore a property of the regime-statistic pair and cannot be fixed by recalibration alone. We also distinguish two often-conflated statistics: RankMe normalises singular values, whereas covariance effective rank normalises eigenvalues. On raw intermediate-layer states in the pretrained model, massive activations pin the latter near 1 out of dimension d while RankMe retains usable range. We then test a two-sided, multichannel sequential monitor with separate calibration and test data. In a pre-registered shared-prefix, leave-one-seed-out evaluation, it detects all three damage regimes in every fold 10 to 60 steps after the fork and separates dispersion from downward-rank damage by firing direction. However, it never precedes held-out probe loss, and calibration with two seeds produces false alarms on the held-out healthy seed. Spectral monitoring can diagnose failure regimes, but it does not warn earlier than held-out loss, and validity claims require held-out healthy data.
• Abstract（参考訳）: ポストトレーニングは、非定常環境における言語モデルに適応する。 実践者はRangeMeと関連するスペクトル統計を用いて表現の健康を監視し、表現が劣化するとランクが落ちると仮定することが多い。 LLMポストトレーニングでは,この仮定は安全でないことを示す。 4つの分解モードと3つの種子を持つQwen3-0.6Bの制御された研究において、データ重複は、元のRangeMeと中心のRangeMeの両方を増加させながら、健康に対して75%減少し、後者は標準偏差を13.5プールした。 共分散有効ランクは、その2倍近い健全な値に上昇する。 この故障は崩壊ではなくスペクトル分散であり、一方のモニターは最も健康なチェックポイントである。 対照的に、学習速度のミスコンフィグレーションはRangeMeとk95の中心を低くし、未集中のRangeMeは種間で矛盾する。 したがって、方向はレジーム統計対の性質であり、再校正だけでは固定できない。 RankMeは特異値を正規化するが、共分散有効ランクは固有値を正規化する。 事前訓練されたモデルの生中間層状態では、RangeMeが使用可能な範囲を維持している間に、大きなアクティベーションが後者をdの1分の1近くに固定する。 次に、キャリブレーションとテストデータを分離した双方向マルチチャネルシーケンシャルモニタをテストする。 予め登録した共用プレフィックス、Leave-one-seed-out評価では、フォーク後10段から60段ごとに3つの損傷状態を検出し、発射方向によって下級損傷から分散を分離する。 しかし、2つの種子のキャリブレーションは、ホールドアウトされた健康な種子に誤報を発生させる。 スペクトルモニタリングは障害の体制を診断できるが、それより早く警告することはない。

関連論文リスト

• When a Flatness Proxy Is Not a Function: Robustness Certificates and Training Interventions [1.9909262723844419]
  有効な曲率上限は、ロバスト性証明や本質的な予測特性の介入を正当化しない。 グローバルに有効なゲージ不変な特徴空間修復を導出する。 45回にわたってアルゴリズムモデルと画像モデルのワンステップテストを行い、増幅されたシフトは原規則化予測器を分離し、商規則化予測器は整列する。
  論文  参考訳（メタデータ） (2026-09-29T20:57:34Z)
• Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents? [2.488251122211714]
  グループ相対強化学習は、同じプロンプトのロールアウトを比較するが、独立した環境ノイズはこれらの比較を曖昧にする可能性がある。 本研究は,各グループ内において,各ロールアウトの周縁分布を保ちながら,イベントキー付きノイズスケジュールを共有するペア付きロールアウトについて検討する。 片側グレーダ雑音に対して、還元の正確な条件を導出し、勾配のばらつきが増大する一方、報酬のコントラストが改善する反例を与える。
  論文  参考訳（メタデータ） (2026-09-21T05:55:08Z)
• Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs [0.0]
  PRM-Pruned Fragment Graftingは、クロス軌道ステップレベルの転送の最小化である。 322回のステージング・ルール・インジェクション・イベントの4ビット分類では、真に苦闘しているチェーンを標的にしたのはわずか14%であった。 後近のオラクルは、独立な +0.13 pp で PPFG を選択することで、プロブレム当たりの利得を制限している。
  論文  参考訳（メタデータ） (2026-09-03T11:06:07Z)
• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
  本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。 ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。 統計的に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-15T05:47:31Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes [0.0]
  片方の治療用アームが他方よりもはるかに小さい,少数のプラセボ系について検討した。 それらは、その名目レベルよりも、真の効果をほとんど含まない。 本稿では,各アームの結果面をガウス過程でモデル化するGP-CATEを提案する。
  論文  参考訳（メタデータ） (2026-05-26T11:18:42Z)
• Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection [56.362776482614976]
  データセット内のクラス分割評価は、完全に非条件のアウト・オブ・ディストリビューション異常検出のプロキシとして広く利用されている。 このプロトコルは、保持された異常クラスが表現空間の通常の混合と重なり合う場合、悪用される可能性があることを示す。 そこで本研究では,Fashion-MNIST,CIFAR-10,Imagenette間のスコア方向不安定性を予測する。
  論文  参考訳（メタデータ） (2026-05-23T06:27:42Z)
• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。