論文の概要: Limitations on Autoregressive Token Generation via Sequential Sampling

• arxiv url: http://arxiv.org/abs/2610.14615v2
• Date: Wed, 14 Oct 2026 22:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.841196
• Title: Limitations on Autoregressive Token Generation via Sequential Sampling
• Title（参考訳）: 逐次サンプリングによる自己回帰型トークン生成の限界
• Abstract要約: 我々は、$k$のステートを持つシーケンシャルサンプリングを、およそ$O(2k)のオーバヘッドでステートレスサンプリングによってシミュレートできることを示す。 また,小状態のシーケンシャルサンプリングでは,ある種の秘密暗号チャネルを確立できないことを示す。
• 参考スコア（独自算出の注目度）: 13.639531441725891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study autoregressive token generation through the notion of sequential samplers: A circuit that samples the next symbol only given the previous ones and possibly a small amount of state. We show that (1) a sequential sampler with $k$ bits of state can be simulated by a stateless one at a roughly $O(2^{k})$ size overhead; (2) efficient insertional sampling (Stern, Chan, Kiros, Uszkoreit, ICML 2019) is more powerful than efficient sequential sampling in any fixed order; (3) sequential samplers with small state cannot establish certain forms of covert cryptographic channels. Result (1), together with the pseudoentropy vs. sequential sampleability duality of Vadhan and Zheng (STOC 2012), characterizes efficient sequential sampleability with small state. Result (3) provides a potential safety mechanism against subliminal coordination among malicious LLM agents.
• Abstract（参考訳）: シーケンシャルサンプリングの概念を用いて自己回帰トークン生成について検討し、次のシンボルをサンプリングする回路は、前者のシンボルのみと、おそらく少量の状態のみを付与する。 その結果,(1)1ビットあたり$kのシーケンシャルサンプリングは,約$O(2^{k})=サイズオーバヘッドでステートレスサンプリングでシミュレート可能であること,(2)効率的な挿入サンプリング(Stern, Chan, Kiros, Uszkoreit, ICML 2019)は任意の固定順序での効率的なシーケンシャルサンプリングよりも強力であること,(3)小さな状態のシーケンシャルサンプリングは秘密暗号チャネルの特定の形態を確立できないこと,などが示されている。 結果(1)は,Vadhan and Zheng (STOC 2012) の擬似エントロピーと逐次サンプリング可能性の双対性と合わせて,少ない状態で効率的なシーケンシャルサンプリング可能性を示す。 結果(3)は、悪意のあるLSMエージェント間のサブリミナルコーディネーションに対する潜在的な安全性メカニズムを提供する。

関連論文リスト

• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Towards Optimal Quantum Estimators for State Frame Potential [12.326210204717336]
  本稿では, 3 つのより弱いアクセスモデルの下で, 次数 $t$ の状態フレームポテンシャルを付加誤差 $varepsilon$ に推定する問題について検討する。 クエリモデルでは、$widetilde(sqrtt/varepsilon)$のほぼ最適クエリ複雑性を確立します。 一般的なサンプルモデルでは、最適なサンプル複雑性を$(t/varepsilon2)$とする。
  論文  参考訳（メタデータ） (2026-08-25T15:29:24Z)
• Self-Balancing Sequential Sampling: Fast Convergence with Controlled Predictability [0.7734726150561088]
  所望の目標法則への経験分布のより高速な収束を達成するために、サンプリング確率を適応的にバイアスするシーケンシャルサンプリング規則。 自己バランス型サンプリングは実装が簡単であり、マルコフ型サンプリングのクラスの中で自然に発生する。 結果は、将来の選択を過度に予測できるようにすることなく、繰り返しの選択とカバレッジの長いギャップを減らすための実践的なフレームワークをサポートする。
  論文  参考訳（メタデータ） (2026-07-23T01:10:42Z)
• NI Sampling: Accelerating Discrete Diffusion Sampling by Token Order Optimization [27.77541110403583]
  本稿では,トークンサンプリング順序最適化の問題について検討し,その加速度に対する有意義な可能性を示す。 本稿では,各ステップでどのトークンをサンプリングすべきかを決定するために,ニューラルインジケータを用いたニューラルインジケータサンプリングフレームワークを提案する。 本手法は精度-ステップトレードオフにおける信頼しきい値サンプリングを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-20T16:22:59Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• SAMPa: Sharpness-aware Minimization Parallelized [51.668052890249726]
  シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
  論文  参考訳（メタデータ） (2024-10-14T16:21:23Z)
• Masked Generative Modeling with Enhanced Sampling Scheme [1.3927943269211591]
  拡張サンプリングスキーム(ESS)は、サンプルの多様性と忠実さの両方を保証する。 ESSは、Naive Iterative Decoding、Critical Reverse Smpling、Critical Resamplingの3つのステージで構成されている。 非条件サンプリングとクラス条件サンプリングの両方において、ESSの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-14T09:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。