論文の概要: Certification Frontiers for Gaussian LoRA: Independent Priors, Posterior Risk, and Prediction-Preserving Balancing

• arxiv url: http://arxiv.org/abs/2609.32271v1
• Date: Sat, 26 Sep 2026 05:57:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:15:32.138019
• Title: Certification Frontiers for Gaussian LoRA: Independent Priors, Posterior Risk, and Prediction-Preserving Balancing
• Title（参考訳）: ガウスロラの認定フロンティア:独立プライオリティ、後リスク、予測保存バランシング
• Abstract要約: ポストホックのベイジアン・ファインチューニングでは、ガウシアンが訓練された低ランクのアダプタを調整した。 このような後部は、サンプル予測器の損失と許容される事前からのKLのばらつきの両方が小さい場合にのみ、PAC-Bayes証明書を通知する。 我々は、LoRA後部のフロンティアを特徴付け、事前の変更、予測器の変更、複雑さの数え方の変更の3つの介入を分離する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Post-hoc Bayesian fine-tuning places Gaussians around trained low-rank adapters, yet a calibrated posterior does not by itself yield a useful generalization certificate. Such a posterior admits an informative PAC-Bayes certificate only when both the loss of its sampled predictors and its KL divergence from an admissible prior are small. In this research, we characterize this certification frontier for Gaussian LoRA posteriors and separate three interventions: changing the prior, changing the stochastic predictor, and changing only how its complexity is counted. First, an exact isotropic KL envelope eliminates the prior scale and yields a width threshold that excludes posterior widths before sampling, while a zero-KL floor identifies targets that no complexity reduction can reach at a measured risk bound. Second, we minimize KL in closed form over the full $GL(r)$ symmetry of the low-rank factors, leaving every sampled adapter product unchanged, and derive the noncentral objective required when the prior center is trained on an independent split. On a small-pool RoBERTa audit of 567 configurations, the recorded 64-draw summaries imply a certificate floor of $0.7298$ even with zero KL and Chernoff accounting, so reducing complexity alone cannot certify these posteriors at the recorded budgets. For a stable posterior in a controlled Gaussian-factor task, Chernoff accounting certifies risk below $0.1$ on 20 of 20 datasets with 1024 draws, whereas Hoeffding certifies none. On deliberately deformed synthetic rank-four factors, matrix balancing reduces KL by $29.3\%$ on average beyond scalar balancing without changing any prediction. Numerical split-prior scenarios make the remaining risk and complexity budgets explicit.
• Abstract（参考訳）: ポストホックバイジアン微調整では、ガウス人が訓練された低ランクアダプターの周りに配置されるが、校正後部はそれ自体が有用な一般化証明を得られない。 このような後部は、サンプル予測器の損失と許容される事前からのKLのばらつきの両方が小さい場合にのみ、PAC-Bayes証明書を通知する。 本研究では,ガウスロラ後部における認証フロンティアを特徴付けるとともに,事前の変更,確率予測器の変更,複雑さの数え方の変更という3つの介入を分離する。 第一に、正確な等方性KLエンベロープは、事前のスケールを排除し、サンプリング前の後方幅を除外する幅閾値を得る一方、ゼロKLフロアは、複雑さの低減が測定されたリスクバウンドで到達できないターゲットを特定する。 第二に、KL を低ランク因子の完全な $GL(r)$対称性上の閉形式で最小化し、すべてのサンプルアダプタ積をそのまま残し、先行中心が独立分割で訓練されたときに必要となる非中央目標を導出する。 567の小さなプールのRoBERTa監査では、記録された64ページのサマリーは、ゼロのKLとチャーノフの会計でも0.7298$の証明書フロアを暗示しているため、複雑さの低減だけでは、記録された予算でこれらの後部を認証することはできない。 制御されたガウス因子タスクの安定な後部については、チャーノフ会計は1024の引き数を持つ20のデータセットのうち、0.1ドル未満のリスクを認定する。 故意に変形した合成階数4因子では、行列バランスは予測を変更せずに平均29.3\%のKLをスカラーバランスを超えて減少させる。 数値的な分割優先シナリオは、残りのリスクと複雑さの予算を明確にします。

関連論文リスト

• Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
  軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
  論文  参考訳（メタデータ） (2026-09-22T03:57:30Z)
• Available Guardrails: Certifying Selective Prediction across ML Systems [40.57629016626049]
  安全, 粒度, サービストラフィックのトレードオフを明らかにする動的プログラムを開発する。 1つの計画上の候補分割を分割し、その中の1つを選択すると、このギャップの一部が回復することを示す。 相補的妥当性保存レバーは、報告ユニット間で家庭的にエラー予算を割り当て、追加のカバレッジを回復する。
  論文  参考訳（メタデータ） (2026-09-18T17:36:52Z)
• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• Contextual Deconvolution for Variance-Stable Demand Sensing: Kernel-Modulated Operators in Promotional Retail [0.0]
  機械学習の需要予測は、統計的精度を最適化するが、過剰な運用のボラティリティを保ち、安全株を膨らませ、ブルウィップ効果を増幅する。 コンベックス分解として需要感を再設定するtextbfCon Decontextual estimatorを導入する。
  論文  参考訳（メタデータ） (2026-07-28T12:49:59Z)
• Active Quantum Kernel Acquisition for Gaussian Process Regression [30.032230630492155]
  量子カーネル分類に関する最近の研究は、カーネルエントリに不均一にショットを割り当てることによって、ターゲット精度に到達するために必要なショット予算を削減できることを示した。 我々はこのアイデアをガウス過程(GP)回帰(英語版)に拡張し、下流の量(全スペクトル後方分散、対数行列、辺縁確率)が、符号のみの分類出力よりも厳密なカーネルエラーに結合する設定とする。 我々は、3つの閉形式のペアレベル感性予測結合 $|_i_j|$, leave-one-out residual, and marginal-likelihood gradient を導出し、それらをネイマン型最小値に差し込む。
  論文  参考訳（メタデータ） (2026-06-27T09:40:20Z)
• Stochastic Estimation of the Layer-wise Hessian Trace for Monitoring Neural-network Training [45.88028371034407]
  本稿では,ニューラルネットワークの経験的リスクであるヘッセン行列の対角ブロックの軌跡のパラメータ推定器を提案する。 この手順はハッチンソントレース推定器とパラメータベクトル全体の上の1つのヘッセンベクトル積を組み合わせたものである。 重み分担の下での正しさは,第2次微分の前に階層的にヘッセンを組み立てる必要があることを示す。
  論文  参考訳（メタデータ） (2026-05-25T10:24:32Z)
• Anytime PAC-Bayes for Constrained Density-Ratio Networks under Covariate Shift [0.0]
  PAC-Bayesはベルヌーイ-KL境界を生じる固定時間状態の重み付けリスクに基づいてインスタンス化される。 実データデプロイメントによる解析的基盤真理に対するパッチテストは、フレームワークを検証します。 単一の固定時間カバレッジ障害が記録され、スプリット単位のカバレッジがラベルシフトの大きさと一致している。
  論文  参考訳（メタデータ） (2026-05-17T01:07:17Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Risk-limiting Financial Audits via Weighted Sampling without Replacement [47.189919138260066]
  $N$の取引が与えられた場合、目標は、不正な通貨の合計分を所定の精度で見積もることである。 重み付き平均値が未知の値に対して新しい信頼シーケンスを構築することでこれを行う。 側情報が十分に予測可能な場合には,直接サンプリングを行うことができることを示す。
  論文  参考訳（メタデータ） (2023-05-08T17:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。