論文の概要: Epistemic Throughput: Fundamental Limits of Attention-Constrained Inference

• arxiv url: http://arxiv.org/abs/2602.09127v1
• Date: Mon, 09 Feb 2026 19:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.215186
• Title: Epistemic Throughput: Fundamental Limits of Attention-Constrained Inference
• Title（参考訳）: てんかんのアウトプット:注意制限推論の基本限界
• Authors: Lei You,
• Abstract要約: 安価なスクリーニングステージが$K$レコードを処理し、高価な検証ステージが少なくとも$B$をフォローできることを示します。 我々は、ACI(Atention-Constrained Inference)を通じてこの体制を定式化し、安価なスクリーニングステージが$K$レコードを処理し、高価な検証ステージが少なくとも$B$をフォローすることができる。
• 参考スコア（独自算出の注目度）: 1.1162481475388237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent generative and tool-using AI systems can surface a large volume of candidates at low marginal cost, yet only a small fraction can be checked carefully. This creates a decoder-side bottleneck: downstream decision-makers must form reliable posteriors from many public records under scarce attention. We formalize this regime via Attention-Constrained Inference (ACI), in which a cheap screening stage processes $K$ records and an expensive verification stage can follow up on at most $B$ of them. Under Bayes log-loss, we study the maximum achievable reduction in posterior uncertainty per window, which we call \emph{epistemic throughput}. Our main result is a ``JaKoB'' scaling law showing that epistemic throughput has a baseline term that grows linearly with verification and prevalence, and an additional \emph{information-leverage} term that scales as $\sqrt{JKB}$, where $J$ summarizes screening quality. Thus, expanding cheap screening can nonlinearly amplify scarce verification, even when informative records are rare. We further show that this scaling is tight in a weak-screening limit, and that in the sparse-verification regime ($B \ll K$), substantial leverage requires heavy-tailed score distributions; for light-tailed scores the amplification is only logarithmic.
• Abstract（参考訳）: 最近の生成およびツールを使用するAIシステムは、大量の候補を低い限界コストで表面化することができるが、慎重にチェックできるのはごくわずかである。 これはデコーダ側のボトルネックを生み出します。下流の意思決定者は、ほとんど注意を払わないまま、多くの公開レコードから信頼できる後部を形成する必要があります。 我々は、ACI(Atention-Constrained Inference)を通じてこの体制を定式化し、安価なスクリーニングステージが$K$レコードを処理し、高価な検証ステージが少なくとも$B$をフォローすることができる。 ベイズのログロスの下では、窓ごとの遅延不確かさの最大化について検討し、これを 'emph{epistemic throughput} と呼ぶ。 我々の主な成果は「JaKoB'」のスケーリング法則であり、エピステミックスループットは、検証と精度とともに線形に成長するベースライン項を持ち、さらに$\sqrt{JKB}$までスケールする 'emph{information-leverage} 項は、$J$でスクリーニング品質を要約する。 これにより、情報記録が稀な場合でも、安価なスクリーニングを拡大することで、不確実性検証を非線形に増幅することができる。 さらに、このスケーリングは弱スクリーニング限界において厳密であり、スパース検証体制(B \ll K$)においては、実質的なレバレッジは重み付きスコア分布を必要としており、光引きスコアの場合、増幅は対数のみであることを示す。

関連論文リスト

• Effective Frontiers: A Unification of Neural Scaling Laws [19.808117554175013]
  本稿では,学習課題を長期分布(Zipfian)のパターンのプログレッシブカバレッジとして抽象化する統合フレームワークを提案する。 我々は、$N$、$D$、$C$の正確なスケーリング法則を導き、それらがキャパシティ、カバレッジ、最適化のボトルネックに起因する。
  論文  参考訳（メタデータ） (2026-02-01T10:44:46Z)
• Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD [7.787109481104569]
  本稿では,DP-SGDを$f$差分プライバシーフレームワークで解析する。 小さい分離を強制することはノイズ乗算器$$に厳格な下限を課し、達成可能な効用を直接制限することを証明する。 実験により, この境界による雑音レベルは, 現実的な訓練環境において, 高い精度で劣化することが確認された。
  論文  参考訳（メタデータ） (2026-01-15T09:50:36Z)
• Clip-and-Verify: Linear Constraint-Driven Domain Clipping for Accelerating Neural Network Verification [9.733843486234878]
  最先端ニューラルネットワーク(NN)検証は、分岐とバウンド(BaB)の手順を高速なバウンディング技術で適用することが、多くの挑戦的な検証特性に対処する上で重要な役割を果たしていることを示す。 本稿では,NN検証の有効性を高めるために,スケーラブルで効率的な手法のクラスである線形制約駆動型クリッピングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-12-11T19:59:37Z)
• SlimInfer: Accelerating Long-Context LLM Inference via Dynamic Token Pruning [3.502168555273189]
  SlimInferは、フォワードパス中にあまり重要でないプロンプトトークンを直接プルーニングすることで推論を加速することを目的としている。 SlimInferは最大$mathbf2.53times$ time-to-first-token(TTFT)スピードアップと$mathbf1.88times$ end-to-end latency reduction for LLaMA3.1-8B-Instructを実現する。
  論文  参考訳（メタデータ） (2025-08-08T16:42:38Z)
• Settling the Sample Complexity of Online Reinforcement Learning [92.02082223856479]
  バーンインコストを発生させることなく、最小限の最適後悔を実現する方法を示す。 最適値/コストや一定の分散といった問題依存量の影響を明らかにするために、我々の理論を拡張します。
  論文  参考訳（メタデータ） (2023-07-25T15:42:11Z)
• Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
  本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。 Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T18:59:30Z)
• Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models [57.933500846742234]
  最近の研究は、構造化された外れ値が量子化性能の重要なボトルネックであることを認識している。 本稿では,Gamma Migration と Token-Wise Clipping の2つのコンポーネントを含む外部抑制フレームワークを提案する。 このフレームワークは、アウトレイラを効果的に抑制し、プラグアンドプレイモードで使用することができる。
  論文  参考訳（メタデータ） (2022-09-27T12:05:59Z)
• WARPd: A linearly convergent first-order method for inverse problems with approximate sharpness conditions [0.0]
  シャープネス条件は1次法のリスタートスキームのリカバリ性能を直接制御する。 重み付き, 加速度付き, 再起動されたプリマルデュアル(WARPd)の1次手法を提案する。 一般的な近似的シャープネス条件の下では、WARPd は所望のベクトルに対して安定な線形収束を達成する。 本稿では、WARPdが専門的な最先端手法と比較し、大規模問題の解決に最適であることを示す。
  論文  参考訳（メタデータ） (2021-10-24T13:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。