論文の概要: Next-token functional estimation

• arxiv url: http://arxiv.org/abs/2609.19529v1
• Date: Thu, 17 Sep 2026 00:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.051874
• Title: Next-token functional estimation
• Title（参考訳）: 次トーケン関数推定
• Abstract要約: 実験的な指標を形成する前に,各インデックスの後に長さ$$$のウィンドウを削除する。 我々の推定器は、アウト・ワン・アウトとアドスタント・ベースラインが失敗する多くのシナリオで成功することを示す。
• 参考スコア（独自算出の注目度）: 11.973479596074514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Suppose we observe the first $n$ points of a sequence of random variables having length $n+1$, and wish to estimate a functional of the unobserved final point and the empirical measure of the $n$ observed training points. Such next-token functionals include the probability that the next token is novel (also known as the surprise probability), the tail probability of the minimum distance between the next token and training points, and the test error of a classifier trained on the observed points. All of these quantities are classically estimated by the leave-one-out method, which is inconsistent under temporal dependence. We propose a leave-a-window-out estimator, which deletes a window of length $τ$ after each index before forming the empirical measure and reduces to leave-one-out at $τ= 1$. Under natural assumptions, we show that the error of our estimator decays at a parametric rate for any stationary $β$-mixing process that also admits a Marton coupling. Our results thus cover several natural functionals on a large class of stochastic processes. We complement these upper bounds with a sharp minimax lower bound for estimating the surprise probability on mixing Markov chains. Simulations on Markov chains, moving-average processes, and autoregressive processes show that our estimator succeeds in many scenarios where leave-one-out and add-constant baselines fail.
• Abstract（参考訳）: 長さが$n+1$の確率変数列の最初の$n$点を観察し、観測されていない最終点の関数と観測された訓練点の実証測度を推定したいと仮定する。 このような次トーケン関数には、次のトークンが新しくなる確率(サプライズ確率とも呼ばれる)、次のトークンとトレーニングポイントの間の最小距離のテール確率、観察されたポイントで訓練された分類器のテスト誤差が含まれる。 これらの量はすべて、時間的依存下での矛盾であるLeft-one-out法によって古典的に推定される。 実験的な指標を形成する前に、各インデックスの後に長さ$τ$のウィンドウを削除し、$τ=1$でLeft-one-outに還元する、Left-a-window-out推定器を提案する。 自然仮定の下では、我々の推定子の誤差は、マートンカップリングを持つ任意の定常$β$混合過程のパラメトリック速度で減衰することを示す。 以上の結果から, 大規模確率過程におけるいくつかの自然機能について考察した。 我々はこれらの上界をシャープなミニマックス下界で補い、マルコフ連鎖を混合するサプライズ確率を推定する。 マルコフ連鎖、移動平均過程、自己回帰過程のシミュレーションは、我々の推定器が出発点と加算点の基底線が失敗する多くのシナリオで成功することを示している。

関連論文リスト

• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Estimating stationary mass, frequency by frequency [11.476508212290275]
  本稿では,指数関数的に$alpha$-mixingプロセスの定常分布によって配置される確率質量を推定する問題を考察する。 総変分距離におけるこの確率ベクトルを推定し、$n$の普遍的一貫性を示す。 我々は、自然の自己正規化統計混合配列の濃度不等式を含む補完ツールを開発し、関連する問題に対する推定器の設計と分析に独立して有用であることを示した。
  論文  参考訳（メタデータ） (2025-03-17T04:24:21Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• Markov Chain Variance Estimation: A Stochastic Approximation Approach [14.883782513177094]
  マルコフ連鎖上で定義される関数の分散を推定する問題は、定常平均の統計的推測の重要なステップである。 我々は,各ステップで$O(1)$を必要とする新しい再帰的推定器を設計し,過去のサンプルやラン長の知識を一切必要とせず,証明可能な有限サンプル保証付き平均二乗誤差(MSE)に対する最適な$O(frac1n)の収束率を有する。
  論文  参考訳（メタデータ） (2024-09-09T15:42:28Z)
• Policy evaluation from a single path: Multi-step methods, mixing and mis-specification [45.88067550131531]
  無限水平$gamma$-discounted Markov rewardプロセスの値関数の非パラメトリック推定について検討した。 カーネルベースの多段階時間差推定の一般的なファミリーに対して、漸近的でない保証を提供する。
  論文  参考訳（メタデータ） (2022-11-07T23:15:25Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。