論文の概要: Spectral Rank Certification for Foundation Model Adapters
- arxiv url: http://arxiv.org/abs/2608.15351v1
- Date: Sat, 15 Aug 2026 18:11:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.274629
- Title: Spectral Rank Certification for Foundation Model Adapters
- Title（参考訳）: 基礎モデル適応器のスペクトルランク認証
- Abstract要約: ノミナル・ロラのランクは設計パラメータであり、校正されたスペクトル証拠は別の推論量である。
本稿では,公立基礎モデルアダプタにおいて有効なランク構造を推定するための有限サンプルフレームワークを開発する。
26のパブリックアダプタ、684のモジュール、6つのアーキテクチャファミリ、31,770のパブリックチェックポイントスペクトル行の監査において、校正された効果的なランクは、通常、名目上のランクよりもはるかに小さい。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nominal LoRA rank is a design parameter; calibrated spectral evidence is a separate inferential quantity. This article develops a finite-sample framework for inferring effective rank structure in public foundation-model adapters. The theoretical core is an exact chi-square divergence for the fixed-dimensional Gaussian rank-one reference experiment, with an unknown signal direction integrated under a rotation-invariant reference prior. The resulting series yields a computable finite-sample Le Cam bound at concrete layer sizes, an explicit remainder bound for numerical truncation, and the rectangular Baik-Ben Arous-Peche (BBP) limit. A compact-manifold Laplace expansion shows that finite-sample likelihood evidence also depends on leading spectral gaps through the factor $s_1^{|m-n|}\prod_{i\ge2}(s_1^2-s_i^2)$, motivating joint calibration of clustered singular values. Building on these results, we introduce an empirical-null workflow for PEFT LoRA adapters: factor reconstruction, Monte Carlo $p$-values, stagewise and block testing, and module-wise and corpus-level BH reporting. In an audit of 26 public adapters, 684 modules, six architecture families, and 31,770 public-checkpoint spectra rows, calibrated effective rank is typically much smaller than nominal rank and differs systematically from 95\% energy retention. A measured RoBERTa-RTE slice on $n=24$ examples illustrates the measurement path from calibrated ranks to task evaluation, without treating the slice as a utility study. The main empirical finding is that calibrated effective rank is usually far below nominal rank, and that energy retention and statistical surprise answer different questions.
- Abstract（参考訳）: ノミナル・ロラのランクは設計パラメータであり、校正されたスペクトル証拠は別の推論量である。
本稿では,公立基礎モデルアダプタにおいて有効なランク構造を推定するための有限サンプルフレームワークを開発する。
理論コアは、固定次元ガウス階数1の基準実験の正確な2乗偏差であり、未知の信号方向は回転不変の基準の下で積分される。
結果、計算可能な有限サンプルル・カムを具体的な層サイズで有界とし、余剰を数値的切り離しに有界とし、また直方体Baik-Ben Arous-Peche (BBP) の極限を与える。
コンパクトマニフォールドのラプラス展開は、有限サンプルの証拠は、クラスター化された特異値の合同キャリブレーションを動機付ける因子 $s_1^{|m-n|}\prod_{i\ge2}(s_1^2-s_i^2)$ を通じて、主要なスペクトルギャップに依存することを示している。
これらの結果に基づいて,PEFT LoRAアダプタ用の経験的ヌルワークフロー,ファクタ再構成,Monte Carlo $p$-values,ステージワイドおよびブロックテスト,モジュールワイドおよびコーパスレベルのBHレポートを導入している。
26の公用アダプタ、684のモジュール、6つのアーキテクチャファミリ、31,770の公用チェックポイントスペクトル列の監査において、校正された有効ランクは通常、名目よりもはるかに小さく、95%のエネルギー保持と体系的に異なる。
測定されたRoBERTa-RTEスライスをn=24$の例で示すと、スライスを実用研究として扱うことなく、キャリブレーションされたランクからタスク評価までの計測経路が示される。
主な実証的な発見は、校正された有効ランクは通常、名目よりもはるかに低く、エネルギー保持と統計的サプライズが異なる疑問に答えることである。
関連論文リスト
- Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。
モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
論文 参考訳（メタデータ） (2026-09-15T12:23:57Z) - Shape Operator PCA: Curvature-Aware Projections for Geometric Machine Learning [52.452902154360565]
SHOPCA (Shape Operator-based principal Component Analysis) は、教師なしメトリック学習と次元減少のための新しい手法である。
我々は、50以上の実世界のベンチマークデータセット上でSHOPCAを評価する。
論文 参考訳（メタデータ） (2026-08-15T16:37:47Z) - Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference [0.5076419064097734]
電力法デコーダ表現(PLDR-LLM)からの大規模言語モデルとその注意,PLGA(Power Law Graph Attention)
PLGAは、SDPA(Scaled dotproduct attention)の固定された双線形形式を、学習された入力生成双線形演算子$G_LM$に置き換える。
PLGA は、正確に $G_LM=I$; $A_LM$ と $A_P$ の SDPA を含み、Perron-Frobenius 構造は $A_LM$ である。
論文 参考訳（メタデータ） (2026-08-10T22:45:22Z) - DA-CASE: reusable measurements for adaptive quantum subspaces [0.0]
本稿では,Dyadic Adaptive Clifford-Algebra Subspace Eigensolver (DA-CASE)を提案する。
凍結した8量子ビット H$_4$ Hamiltonian 上でその貿易を明示する。
独立に、ダイアドの通勤階層は、決定的銀行を913キュービットの交換設定から64の完全通勤設定に還元する。
論文 参考訳（メタデータ） (2026-08-09T14:35:52Z) - Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning [0.9558392439655014]
定数対応比較プロトコルを導入し、MPPを通信するための明示的な有限下位証明書を導出する。
共通閉形式エンベロープは有限フロンティアで発行された係数を0.015$に改善する。
論文 参考訳（メタデータ） (2026-08-07T19:28:58Z) - Statistical Inference for Rank Allocation in Low-Rank Adaptation [54.886931928255564]
低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。
統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。
StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
論文 参考訳（メタデータ） (2026-07-22T14:25:59Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Milestones over Outcome: Unlocking Geometric Reasoning with Sub-Goal Verifiable Reward [67.00373428443879]
サブゴールレベルの評価と学習へのパラダイムシフトを導入する。
まず,厳密な形式検証データエンジンを用いたベンチマークであるGeoGoalを構築した。
本研究では,スケルトンレートに基づいて,スパース信号を高密度な報酬に置き換えるサブゴール検証リワード(SGVR)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-08T16:17:56Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。
我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。
シミュレーションおよび実データ実験により本手法を実証する。
論文 参考訳（メタデータ） (2023-09-14T15:58:30Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。