論文の概要: An Empirical Audit of k-NAF Budget Accounting for Anchored Decoding
- arxiv url: http://arxiv.org/abs/2605.28001v1
- Date: Wed, 27 May 2026 05:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.783569
- Title: An Empirical Audit of k-NAF Budget Accounting for Anchored Decoding
- Title(参考訳): アンコールデコードのためのk-NAF予算会計の実証監査
- Authors: J. Vijayavallabh,
- Abstract要約: 我々はAnchored Decodingにおけるk-NAF予算計算機構を実証的に検証した。
固定作業負荷では、累積的なKL支出は600, 1000のシーケンスレベルの予算Kよりもはるかに低いままである。
適応探索はプロキシ使用率を増加させるが、明確な予算枯渇は生じない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We empirically audit the k-NAF budget-accounting mechanism in Anchored Decoding using (i) a fixed, class-stratified workload (approximately 8,500 randomized executions across six prompt classes) and (ii) an adaptive prompt-search procedure targeting high proxy spend ratios. On the fixed workload, mean cumulative KL spend remains far below the sequence-level budgets K in {600, 1000}, and an empirical Bernstein-style proxy stays below K for every class; surface-overlap diagnostics (ROUGE-L and 5-gram Jaccard) are correspondingly small. Adaptive search increases the proxy spend ratio but does not produce clear budget exhaustion. On a held-out copyright-domain workload at k = 3, several prompts exhibit proxy ratios above 1 under early-stopped evaluations with small realized sample sizes; re-evaluating the same prompts with larger allocation reduces the proxy ratio to the range [0.26, 0.40] under comparable mean spend, consistent with proxy artifacts rather than per-trajectory budget failures.
- Abstract(参考訳): アンコールデコードにおけるk-NAFの予算計算機構を実験的に検証する
(i)固定クラス階層化されたワークロード(6つのプロンプトクラスで約8500のランダム化実行)、
(ii)高プロキシ使用率を対象とした適応的なプロンプト検索手法。
固定作業負荷では、平均累積的なKL支出は {600, 1000} のシーケンスレベルの予算 K よりもはるかに低く、経験的ベルンシュタイン式プロキシは各クラスで K より下にあり、表面オーバーラップ診断(ROUGE-L と 5-gram Jaccard )は対応する小さい。
適応探索はプロキシ使用率を増加させるが、明確な予算枯渇は生じない。
k = 3 の保持された著作権ドメインのワークロードでは、いくつかのプロンプトが、1 以上のプロキシ比率を早期に評価し、小さなサンプルサイズで評価する。
関連論文リスト
- Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳(メタデータ) (2026-05-22T08:26:08Z) - When Independent Sampling Outperforms Agentic Reasoning [4.226475360842309]
固定予算下での競合プログラミングのための推論時間計算の割り当てについて検討する。
モデル呼び出しのコストと回数の両方の関数として,エージェントベースの推論と反復的な独立サンプリング(k-shot)を比較した。
論文 参考訳(メタデータ) (2026-05-08T20:53:51Z) - Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization [18.737087162461563]
テストタイムの計算スケーリングは、大規模言語モデルのパフォーマンスを向上させるための強力なレバーとなっている。
しかし、これらのテクニックを有限の推論予算の下で展開するには、現在のシステムがほとんど無視する決定が必要である。
我々はこれを制約付き最適化問題(平均計算予算の予測精度を最大化する)として定式化し、2段階のソルベ・テン・ラーンパイプラインで解いた。
論文 参考訳(メタデータ) (2026-04-16T10:39:22Z) - Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。
クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。
我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
論文 参考訳(メタデータ) (2026-02-05T14:16:47Z) - Predictive Scheduling for Efficient Inference-Time Reasoning in Large Language Models [6.002670452103349]
大規模言語モデル(LLM)は複雑な推論タスクにおいて最先端の精度を達成する。
しかし、クエリ毎に固定されたトークン予算を使用することで、簡単な入力の過剰計算とハードな入力の過小計算につながる。
プラグイン・アンド・プレイのフレームワークであるPredictive Schedulingを導入する。このフレームワークは軽量な予測器を事前実行し、各クエリの最適な推論の長さや難易度を全世代前に推定する。
論文 参考訳(メタデータ) (2026-02-01T13:58:23Z) - Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。
それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。
本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
論文 参考訳(メタデータ) (2025-09-29T15:52:08Z) - An Adaptive Tensor-Train Decomposition Approach for Efficient Deep Neural Network Compression [4.869958813908807]
本稿では,効率的なモデル圧縮のための新しい,自動,予算を考慮したランク選択手法を提案する。
レイヤワイズインプリンティング量子化(LWIQ)は、プロキシ分類器を統合することで、ニューラルネットワーク内の各レイヤの意義を定量化する。
CIFAR-10データセットの実験結果から,LWIQのランク検索効率は63.2%向上した。
論文 参考訳(メタデータ) (2024-08-02T18:47:11Z) - Best Arm Identification for Stochastic Rising Bandits [84.55453174601826]
SRB(Rising Bandits)は、選択される度に選択肢の期待される報酬が増加する、シーケンシャルな意思決定の問題をモデル化する。
本稿では,SRBの固定予算ベストアーム識別(BAI)問題に焦点をあてる。
R-UCBE と R-SR の2つのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-15T08:01:37Z) - IBP Regularization for Verified Adversarial Robustness via
Branch-and-Bound [85.6899802468343]
IBP-Rは, どちらも簡便なトレーニングアルゴリズムである。
また、$beta$-CROWNに基づく新しいロバスト性であるUPBを提示し、最先端の分岐アルゴリズムのコストを削減する。
論文 参考訳(メタデータ) (2022-06-29T17:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。