論文の概要: Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
- arxiv url: http://arxiv.org/abs/2610.30664v1
- Date: Thu, 22 Oct 2026 03:25:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.20003
- Title: Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG
- Title（参考訳）: 階層型RAGのためのポリシ・エクササイズ並列推論への自己回帰LDM制御のコンパイル
- Abstract要約: 大規模言語モデルは構造化決定パイプラインのコントローラとして機能するが、その決定は自動回帰テキストデコーディングによって実行される。
これは有界水平制御では不要であることを示す。
主要なMetaXデバイス上の4つのドキュメント分割と2つのスケールで、コンパイルされたコントロールは、シリアルポリシーを84$--$89%の質問で一致させる。
- 参考スコア（独自算出の注目度）: 36.021356460663796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models increasingly act as controllers in structured decision pipelines, yet their decisions are still executed by autoregressive text decoding. Hierarchical RAG is one such setting: at each frontier of a document tree, an LLM commits to $b$ of $k$ sections under an input-dependent action grammar, executed as either failure-prone free-form JSON or reliable but strictly serial grammar-constrained generation. We show that this serialization is unnecessary for bounded-horizon control: the reachable future forms a shallow action-prefix tree, which we compile --- one root prefill plus one tree-causal probe evaluate every prefix-conditioned action distribution with serial decoding's tokens, positions, and causal ancestry. A prefix-state lemma makes compiled control policy-exact in exact arithmetic: the same policy with a two-forward critical path and zero output tokens. One further probe pass certifies the exact order-marginalized MAP set. Across four document-disjoint splits and two scales on the primary MetaX device, compiled control matches the serial policy on $84$--$89\%$ of questions --- every instrumented divergence a floating-point near-tie --- and cuts control latency by $35$--$47\%$ versus token-wise serial decoding and $6$--$7\%$ versus an idealized chunked engine; an H800 repetition preserves the ordering.
- Abstract（参考訳）: 大規模言語モデルはますます構造化決定パイプラインのコントローラとして機能するが、その決定は自動回帰テキストデコーディングによって実行される。
階層RAG(Hierarchical RAG)は、ドキュメントツリーの各フロンティアにおいて、LLMは入力依存のアクション文法の下で$b$$$k$のセクションにコミットし、エラーを起こしやすいフリーフォームJSONとして実行されるか、信頼できるが厳密なシリアル文法制約付き生成のいずれかとして実行される。
この直列化は、有界水平制御では不要であることを示す: 到達可能な未来は浅いアクション前置木を形成し、コンパイルする --- 1つのルート前置木と1つのツリー因果プローブは、シリアル復号のトークン、位置、因果関係を持つ全てのプレフィックス条件のアクション分布を評価する。
プレフィックス状態の補題は、二進クリティカルパスとゼロ出力トークンを持つ同じポリシーで、正確な算術でコンパイルされた制御ポリシーを実践する。
さらに1つのプローブパスは、厳密に順序付けされたMAPセットを認証する。
主要なMetaXデバイス上で4つのドキュメント分割と2つのスケールで、コンパイルされたコントロールは、シリアルポリシーを84$--89$%の質問 --- で一致し、制御遅延を35$--47$%、トークン単位のシリアルデコードと6$--7$%、理想化されたチャンクエンジンに対して6$--7$%に削減する。
関連論文リスト
- DConstrain: Compiling Context-Parameterized Transitions for Diffusion Language Model Constrained Decoding [37.08521630305277]
拡散言語モデル(DLM)は複数のトークンを並列にデコードするので、個別に有効なトークンはランタイムスキーマの下で象徴的に結合することができる。
本稿では,スキーマをコンテキストパラメータ化遷移プログラムにコンパイルするDConstrainを提案する。
トークン効果のグルーピング 実行時のコンテキストがバウンドされる前に同じコンパイルされたエフェクトを持つトークンをマージする。
論文 参考訳（メタデータ） (2026-10-22T08:40:11Z) - SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding [84.95922754288466]
LLMFillは、自動回帰復号よりもエンドツーエンドのスループットを最大4.05$times$改善する。
GlaiveとBFCLでは、Fillは自動回帰デコーディングよりもエンドツーエンドのスループットを最大4.05$times$改善する。
論文 参考訳（メタデータ） (2026-10-05T12:22:34Z) - Counterfactual Probing for Parallel Unmasking with Hidden Forest Structure [50.58119214447535]
マスク付き生成モデルは並列トークン予測を提供するが、正確な並列サンプリングはトークンを考慮しなければならない。
本研究は,発見を含む全評価がシーケンス長$N$のサブ線形であるかどうかを考察する。
本研究では, 森林構造を隠蔽した離散分布を, 固定された近似条件オラクルを通してアクセスする。
論文 参考訳（メタデータ） (2026-09-29T15:39:50Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - GRID: Grammar-Railed Decoding for Enterprise SQL Generation [0.0]
文法制約付き復号エンジンGRID(Grammar-Railed Decoding)を提案する。
LALR(1)自体を実行可能なオラクルとして使用する。
4つの保証(音量、完全性、終了、およびほぼ一定に近いコスト)は明示的な前提条件で記述される。
論文 参考訳（メタデータ） (2026-07-11T19:25:23Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳（メタデータ） (2026-03-30T23:52:54Z) - AutoSiMP: Autonomous Topology Optimization from Natural Language via LLM-Driven Problem Configuration and Adaptive Solver Control [4.365822392824561]
AutoSiMPは、自然言語の構造的問題記述を手動で設定せずに検証されたバイナリトポロジーに変換する。
パイプラインは,(1)平易なプロンプトを幾何仕様に解析し,サポート,負荷,受動的領域,メッシュパラメータに解析するLLMベースのソルバ,(2)ソルバ対応DOFアレイ,力ベクトル,受動的要素マスクを生成する境界条件生成器,(3)3フィールドSIMPソルバ,およびHeavisideプロジェクションとプラグ可能な継続制御を備える。
論文 参考訳（メタデータ） (2026-03-27T21:23:44Z) - Attention Meets Reachability: Structural Equivalence and Efficiency in Grammar-Constrained LLM Decoding [0.2864713389096699]
我々は、文脈自由文法(CFG)からコンパイルされたプッシュダウンシステム上での自己回帰的次トーケン分布と到達可能性との結合として文法制約デコーディング(GCD)を研究する。
文法の復号コスト等価クラスを定義し、有界書き直し科における最小SAC代表者の存在を証明した。
論文 参考訳（メタデータ） (2026-03-04T11:49:55Z) - Natural Language Edge Labelling: Decoupling Intent from Execution in Structured LM Reasoning [0.0]
本稿では,各検索エッジに自由形式の自然言語ディレクティブを付加するラベルラタオーバーレイであるNature Language Edge Labelling (NLEL)を紹介する。
NLEL は CoT/ToT を厳密に一般化し、ラベル付きバンドルの下でのトップ$k$選択の時空単調性を証明し、制御ベクトル歪みによりセレクタ不足を限定する。
論文 参考訳（メタデータ） (2025-10-06T14:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。