論文の概要: Conditional Total Correlation and the Serial Depth of Adaptive Parallel Sampling
- arxiv url: http://arxiv.org/abs/2608.25505v1
- Date: Wed, 26 Aug 2026 08:16:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.668437
- Title: Conditional Total Correlation and the Serial Depth of Adaptive Parallel Sampling
- Title（参考訳）: 適応並列サンプリングの条件付き全相関とシリアル深さ
- Abstract要約: 擬似コストは、デプロイされた復号規則を区別し、そのポリシーランキングは自己サンプリングされた出力の品質と密接に一致していることを示す。
マスク付き拡散言語モデルを用いた実験は、擬似コストがデプロイされた復号規則を区別し、そのポリシーランキングが自己サンプリングされた出力の品質と密接に一致していることを示している。
- 参考スコア（独自算出の注目度）: 6.705150928866435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by parallel decoding in masked diffusion models, we study adaptive parallel sampling of discrete vectors: in each round, a deterministic policy selects unrevealed coordinates on the basis of the values observed so far, and the selected coordinates are sampled independently from their exact conditional marginals. Approximation error is measured by forward Kullback-Leibler divergence, and serial depth is the minimum target-averaged number of rounds meeting a prescribed error budget. Our central result is an exact identity: the divergence of every policy equals the expected conditional total correlation accumulated over its reveal rounds, so conditional total correlation is the exact information cost of within-round parallelism. The identity yields zero-error schedules for finite-order Markov chains with round complexity proportional to the Markov order and logarithmic in sequence length, a matching logarithmic characterization of the Bernoulli walk at every fixed error budget, and a linear-versus-logarithmic separation between left-to-right and hierarchical reveal orders. Uniform random permutations require linearly many expected rounds at every fixed budget; their hard-cap round-error tradeoff is an exact integer-composition problem whose fixed-round asymptotics and joint-scaling frontier we determine. Uniform balanced binary strings have depth of order squared logarithm, and binary one-hot blocks have square-root depth, with rectangular versions realizing every polynomial exponent up to one half. These results separate serial depth from entropy and negative log-likelihood, and establish conditional-dependence structure as a fundamental determinant of parallelizability. Experiments with a masked diffusion language model show that the pseudo-cost distinguishes deployed decoding rules and that its policy rankings agree closely with the quality of self-sampled outputs.
- Abstract（参考訳）: マスク拡散モデルにおける並列復号化により, 離散ベクトルの適応並列サンプリングについて検討した。各ラウンドにおいて, 決定論的ポリシーは, これまでに観測された値に基づいて未探索座標を選択し, 選択された座標は, 正確な条件境界から独立してサンプリングする。
近似誤差は、前方のKullback-Leibler分散によって測定され、シリアル深さは、所定の誤差予算を満たす平均的なラウンド数である。
我々の中心的な結果は正確な同一性であり、全てのポリシーの発散は、その明らかなラウンドで蓄積された期待条件の総相関と等しいので、条件の総相関は、ラウンド内並列性の正確な情報コストである。
同一性は、マルコフ次数に比例する丸い複雑性を持つ有限階マルコフ連鎖のゼロエラースケジュールと、列長における対数的特徴付け、固定された誤差予算ごとにベルヌーイウォークの対数的特徴付け、左から右と階層的な順序の間の線形対数的分離を与える。
均一なランダムな置換は、固定された予算ごとに線形に多くの期待されるラウンドを必要とし、それらのハードキャップなラウンドエラートレードオフは、固定ラウンドの漸近性と、私たちが決定する共同スケーリングフロンティアが決定される正確な整数合成問題である。
一様平衡二乗弦は次数二乗対数の深さを持ち、二進一ホットブロックは平方根の深さを持ち、長方形バージョンはすべての多項式指数を最大半分まで認識する。
これらの結果はエントロピーと負の対数類似度から直列深さを分離し、並列化の基本的な決定要因として条件依存構造を確立する。
マスク付き拡散言語モデルを用いた実験は、擬似コストがデプロイされた復号規則を区別し、そのポリシーランキングが自己サンプリングされた出力の品質と密接に一致していることを示している。
関連論文リスト
- Finite-Probe Total-Variation Certificates for Finite-Basis Drifting Models [1.2072720711193232]
既知有限密度基底における可積分反対称相互作用と絶対連続法則の凍結測定系について述べる。
ガウス-RBF相互作用では、グローバルエンベロープは無分布および経験的ベルンシュタインラジイをサポートする。
我々は,集団グラム行列によるランダム・プローブの観測性を特徴付け,ランクと対称性のデジェネラを同定し,平均整合に向けて大きな帯域幅の崩壊を証明した。
論文 参考訳（メタデータ） (2026-08-03T00:00:40Z) - One-step lowest-variance selection in a Gaussian random-field model motivated by masked diffusion: Total correlation and a square root collision threshold [8.230831152671708]
マスク付き離散拡散における信頼誘導型並列アンマスキングの動機付けにより、スタイリングされたガウス確率場モデルにおける1つの選択ステップについて検討する。
その結果、マスク付き離散拡散における厳密な信頼幾何と空間相関が一段階選択に結びついている。
論文 参考訳（メタデータ） (2026-07-20T03:56:34Z) - A Note on Stability for Orthogonalized Matrix Momentum with Client Sampling [7.035974899001363]
我々は, 隣接再帰安定性と重み付き濃度ステップから, 有限ラウンド上尾保証を導出した。
一次元の反例は、なぜギャップ、平滑化、あるいは正則性条件が必要なのかを示す。
論文 参考訳（メタデータ） (2026-06-01T05:36:26Z) - SEED: Targeted Data Selection by Weighted Independent Set [76.68391670109433]
我々はSEEDと呼ばれる堅牢でスケーラブルなデータ選択パイプラインを開発した。
SEEDは、命令チューニング、視覚的命令チューニング、セマンティックセグメンテーションにおける最先端の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-15T07:26:54Z) - Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。
ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
論文 参考訳（メタデータ） (2026-01-31T15:49:23Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳（メタデータ） (2022-02-09T06:05:05Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Consensus-Guided Correspondence Denoising [67.35345850146393]
本稿では,地域間コンセンサス学習フレームワークと対応関係を異色化し,対応関係をロバストに識別する。
ローカル地域からグローバル地域への動的グラフから推定されるコンセンサススコアに基づいて,信頼度の高い候補を初期マッチングから蒸留する新しい「プルーニング」ブロックを導入した。
本手法は、堅牢なラインフィッティング、ワイドベースライン画像マッチング、画像ローカリゼーションベンチマークを顕著なマージンで上回る。
論文 参考訳（メタデータ） (2021-01-03T09:10:00Z) - Fused-Lasso Regularized Cholesky Factors of Large Nonstationary
Covariance Matrices of Longitudinal Data [0.0]
大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。
行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-22T02:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。