論文の概要: Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity

• arxiv url: http://arxiv.org/abs/2604.24827v1
• Date: Mon, 27 Apr 2026 15:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.523798
• Title: Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity
• Title（参考訳）: 圧縮不可能な知識プローブ:実容量によるブラックボックスLCMパラメータ数の推定
• Abstract要約: iKPs(textbfIncompressible Knowledge Probes)は,7層にまたがる1,400の事実質問のベンチマークである。 89のオープンウェイトモデル (135M-1,600B) において、IKP精度からパラメータ数へのログ線形マッピングを19のベンダーで調整する。 Mixture-of-Expertsモデルでは、全パラメータがアクティブパラメータよりもはるかに優れた知識を予測する。
• 参考スコア（独自算出の注目度）: 0.3951796994513004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Closed-source frontier labs do not disclose parameter counts, and the standard alternative -- inference economics -- carries $2\times$+ uncertainty from hardware, batching, and serving-stack assumptions external to the model. We exploit a tighter intrinsic bound: storing $F$ facts requires at least $F/$(bits per parameter) weights, so measuring how much a model \emph{knows} lower-bounds how many parameters it \emph{has}. We introduce \textbf{Incompressible Knowledge Probes (IKPs)}, a benchmark of 1{,}400 factual questions spanning 7 tiers of obscurity, designed to isolate knowledge that cannot be derived by reasoning or compressed by architectural improvements. We calibrate a log-linear mapping from IKP accuracy to parameter count on 89 open-weight models (135M--1,600B) spanning 19 vendors, achieving $R^2 = 0.917$; leave-one-out cross-validation confirms generalization (median fold error $1.59\times$, $68.5\%$ within $2\times$ and $87.6\%$ within $3\times$). For Mixture-of-Experts models, total parameters predict knowledge ($R^2 = 0.79$) far better than active parameters ($R^2 = 0.51$). We evaluate 188 models from 27 vendors and estimate effective knowledge capacity for all major proprietary frontier models; for heavily safety-tuned models the estimates are lower bounds, since refusal policy can hide tens of percentage points of "refused but known" capacity. The widely-reported saturation of reasoning benchmarks does not imply the end of scaling. Procedural capability compresses under the "Densing Law," but across 96 dated open-weight models the IKP time coefficient is $-0.0010$/month (95\% CI $[-0.0031, +0.0008]$) -- indistinguishable from zero, and rejecting the Densing prediction of $+0.0117$/month at $p < 10^{-15}$. Factual capacity continues to scale log-linearly with parameters across generations and across vendors.
• Abstract（参考訳）: クローズドソースのフロンティア研究所はパラメータ数を明らかにしておらず、標準的な代替手段である推論経済学は、ハードウェア、バッチ、およびサービススタックの仮定から2ドル以上の不確実性をもたらす。 F$ファクトを格納するには、少なくとも$F/$(パラメータ毎のビット)重みを必要とするので、モデル \emph{knows} がどれだけ低いバウンドを持つかを測定する。 Incompressible Knowledge Probes (IKPs) は,アーキテクチャ改善によって導出できない知識を抽出するために設計された,7層にまたがる1{,}400の事実質問のベンチマークである。 IKPの精度から、19のベンダーにまたがる89のオープンウェイトモデル (135M--1,600B) のパラメータカウントまでのログ線形マッピングをキャリブレーションし、R^2 = 0.917$; アウトワンアウトのクロスバリデーションが一般化を確認する(中間のフォールドエラー1.59\times$, 6,8.5\%$, $2\times$, 8,7.6\%$$)。 Mixture-of-Expertsモデルでは、全パラメータは知識(R^2 = 0.79$)をアクティブパラメータ(R^2 = 0.51$)よりもはるかに良く予測する。 我々は27のベンダーから188のモデルを評価し、主要なプロプライエタリフロンティアモデルすべてに対して効果的な知識容量を推定する。 広く報告されている推論ベンチマークの飽和は、スケーリングの終了を意味するものではない。 手続き的能力は「Densing Law」の下で圧縮されるが、96の日付付きオープンウェイトモデルにおいて、IKPの時間係数は月$-0.0010$(95\% CI $[-0.0031, +0.0008]$)であり、ゼロとは区別できない。 現実的なキャパシティは、世代間、ベンダー間でパラメータでログリニアにスケールし続けています。

関連論文リスト

• Certification cost of quantum models: measurement correlation, not parameter count [0.0]
  経験的フィッシャー行列を相対的なフロベニウス誤差と比較すると、回路の実行は$$(B p2 V/(varepsilon2 G))である。 コスト最適読み出し重量は、測定されたショットの予算をハードウェア上で2.67タイム($1.33$--4.00$)削減した。
  論文  参考訳（メタデータ） (2026-09-13T10:47:03Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Detecting and Discriminating Operator Misspecification in Hybrid PDE-Parameter Learning: a Reference-Free Instrument, with Discrimination Bounded In Sample [0.0]
  私たちは1つのフィットから読み取る楽器を作り、オラクルは持っていません。 回復時に神経推定器がTikhonov-regularized inversionに負ける、事前登録された負の機器である、装置の盲点を報告する。
  論文  参考訳（メタデータ） (2026-08-04T21:20:44Z)
• Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
  本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
  論文  参考訳（メタデータ） (2026-06-03T15:59:25Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale [54.65053906803857]
  実数値関数クラスが一様収束と学習可能性を示す最適尺度について検討する。 本研究の主な成果は,PAC学習の基本定理のスケール敏感な一般化である。 また、定量的サンプルの複雑さと評価可能性に関するオープンな質問をいくつか取り上げる。
  論文  参考訳（メタデータ） (2026-05-13T15:41:30Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• Learn by Surprise, Commit by Proof [0.0]
  本稿では,自律的知識獲得のための自己学習後フレームワークを提案する。 通路が異常に高いパートーケン損失を発生させると、L SCPはそれをフラグ化し、モデルに自身の知識を明確にさせるQ&A連鎖を生成する。 学習強度は1つのパラメータ$r$で管理される。
  論文  参考訳（メタデータ） (2026-04-02T12:17:10Z)
• QANTIS: A Hardware-Validated Quantum Platform for POMDP Planning and Multi-Target Data Association [4.11040996037715]
  本稿では、量子信念更新(Grover振幅増幅とBIQAE)、FPC-QAOAによるQUBOベースのデータアソシエーション、および構成可能なエラー軽減を統合するモジュールプラットフォームであるQSを紹介する。 ハードウェア上では、タイガーの信念に適用される単一のグローバー反復は、ベイズの後部を保ちながら、0.179$から9.07$(5.1times$; ISA 18)の稀な観測確率を増幅する。 さらに、我々の知る限り、超伝導ハードウェア上で最初のクローズドループハイブリッド量子古典型Tiger POMDPを実証する。
  論文  参考訳（メタデータ） (2026-02-28T19:13:44Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Robust Counterfactual Explanations for Neural Networks With Probabilistic Guarantees [11.841312820944774]
  我々は、微分可能なモデルに対する潜在的なモデル変更に対する反ファクトの堅牢性を定量化するために、 $textitStability$ と呼ぶ尺度を提案します。 私たちの主な貢献は、十分高い値のtextitStability$の反ファクトが、高い確率でポテンシャルモデルが変化した後も有効であることを示すことです。
  論文  参考訳（メタデータ） (2023-05-19T20:48:05Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• Estimation in Tensor Ising Models [5.161531917413708]
  N$ノード上の分布から1つのサンプルを与えられた$p$-tensor Isingモデルの自然パラメータを推定する問題を考える。 特に、$sqrt N$-consistency of the MPL estimate in the $p$-spin Sherrington-Kirkpatrick (SK) model。 我々は、$p$-tensor Curie-Weiss モデルの特別な場合における MPL 推定の正確なゆらぎを導出する。
  論文  参考訳（メタデータ） (2020-08-29T00:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。