論文の概要: Probabilistic Language Tries: A Unified Framework for Compression, Decision Policies, and Execution Reuse

• arxiv url: http://arxiv.org/abs/2604.06228v1
• Date: Sun, 29 Mar 2026 21:24:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-12 18:41:08.65528
• Title: Probabilistic Language Tries: A Unified Framework for Compression, Decision Policies, and Execution Reuse
• Title（参考訳）: Probabilistic Language Tries: 圧縮、決定ポリシー、実行再利用のための統一フレームワーク
• Authors: Gregory Magarshak,
• Abstract要約: 列上の任意の生成確率モデルによって暗黙的に定義されたプレフィックス構造を明示する統一表現であるLanguage Try (PLTs)を導入する。 また,任意のデータセットをカバー多数とスパース残量ストアに分解するハイブリッド圧縮アーキテクチャを導入し,Kolmogorov型プログラム表現とレート歪み理論を接続する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce probabilistic language tries (PLTs), a unified representation that makes explicit the prefix structure implicitly defined by any generative model over sequences. By assigning to each outgoing edge the conditional probability of the corresponding token or action, a PLT simultaneously serves as: (i) an optimal lossless compressor via frequency-weighted interval encoding, generalizing arithmetic coding to model-conditioned distributions; (ii) a policy representation for sequential decision problems including games, search, and robotic control; and (iii) a memoization index that lets repeated inference queries be answered by structured retrieval rather than full model execution. The central technical result is a prior-guided caching theorem: under a stationary generative distribution, a PLT-guided cache achieves strictly lower expected inference cost than any empirical-frequency cache for all query counts below a threshold that grows with the concentration of the prior. This converts O(n^2) transformer attention cost into an expected cost of p_r * O(log N) + (1 - p_r) * O(n^2), where p_r is the prior-estimated reuse probability and N is the artifact store size. We further introduce a hybrid compression architecture decomposing any dataset into a PLT-covered majority and a sparse residual store, connecting arithmetic coding with Kolmogorov-style program representations and rate-distortion theory. We instantiate the framework across chess, web search, robotics, organizational workflows, and LLM inference, demonstrating that compression, decision making, and computational reuse are all derived from a single probability measure on sequence space.
• Abstract（参考訳）: 列上の任意の生成モデルによって暗黙的に定義されたプレフィックス構造を明示する統一表現である確率的言語試行(PLT)を導入する。 各外部エッジに対応するトークンやアクションの条件確率を割り当てることで、PLTは次のように同時に機能する。 (i)周波数重み付き区間符号化による最適損失のない圧縮機であって、モデル条件分布に算術符号を一般化すること。 二 ゲーム、探索及びロボット制御を含む逐次決定問題の政策表示 (iii) 完全なモデル実行ではなく構造化検索によって繰り返しの推論クエリに回答できるメモ化インデックス。 定常的な生成分布の下では、PLT誘導キャッシュは、前回の濃度で増大するしきい値以下の全てのクエリ数に対して、どんな経験的周波数キャッシュよりも予想される推論コストを極端に低くする。 これにより、O(n^2)変換器の注目コストをp_r * O(log N) + (1 - p_r) * O(n^2)の期待コストに変換する。 さらに、任意のデータセットをPLT被覆された多数とスパース残量ストアに分解するハイブリッド圧縮アーキテクチャを導入し、算術符号をコルモゴロフ型プログラム表現とレート歪み理論に接続する。 我々は、チェス、Web検索、ロボティクス、組織ワークフロー、LLM推論にまたがるフレームワークをインスタンス化し、圧縮、意思決定、計算再利用がすべて、シーケンス空間上の単一の確率測度から導出されることを実証する。

関連論文リスト

• A Scalable Distributed Quantum Optimization Framework via Factor Graph Paradigm [46.08923284345648]
  分散量子最適化のための構造認識フレームワークを提案する。 検索スペースが$N$の場合、我々のフレームワークはプロセッサやセパレータに依存した要素に対して$O(sqrtN)$クエリ複雑性を達成する。 構造を考慮した分解は、量子ネットワーク上でのスケーラブルな分散量子最適化に実践的な道をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-03-08T15:15:52Z)
• DecompressionLM: Deterministic, Diagnostic, and Zero-Shot Concept Graph Extraction from Language Models [24.759051210517658]
  DecompressionLMはゼロショットの概念グラフ抽出のためのステートレスフレームワークである。 提案手法は,共通復号法に基づく探索手法の3つの制限を対象とする。
  論文  参考訳（メタデータ） (2026-01-30T22:56:56Z)
• Bottlenecked Transformers: Periodic KV Cache Consolidation for Generalised Reasoning [16.35681450323654]
  トランスフォーマーLSMは推論時間計算でスケールする強力な推論能力を示すことが示されている。 KVキャッシュの書き直しによるメモリ(re)統合が、推論の改善に有効である理由を理論的に正当化する。 我々のモデルでは、バニラトランスフォーマーと停止する拡張ベースラインに対して一貫したパフォーマンス向上が見られ、選択されたタスク/バックボーンに対して最大6.6ppのゲインが得られる。
  論文  参考訳（メタデータ） (2025-05-22T17:33:49Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• CREPO: An Open Repository to Benchmark Credal Network Algorithms [78.79752265884109]
  クレダルネットワークは、確率質量関数の集合であるクレダルに基づく不正確な確率的グラフィカルモデルである。 CREMAと呼ばれるJavaライブラリが最近リリースされ、クレダルネットワークをモデル化し、処理し、クエリする。 我々は,これらのモデル上での推論タスクの正確な結果とともに,合成クレダルネットワークのオープンリポジトリであるcrrepoを提案する。
  論文  参考訳（メタデータ） (2021-05-10T07:31:59Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• On Compression Principle and Bayesian Optimization for Neural Networks [0.0]
  本稿では,全てのデータとモデル定義の合計圧縮メッセージ長を最小化しつつ,デオードビリティを保証しながら,最適な予測モデルを提案する圧縮原理を提案する。 圧縮原理によって要求される最適ネットワーク次元を求めることができる連続的な次元削減にドロップアウトが利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-23T03:23:47Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)
• Polynomial-Time Exact MAP Inference on Discrete Models with Global Dependencies [83.05591911173332]
  ジャンクションツリーアルゴリズムは、実行時の保証と正確なMAP推論のための最も一般的な解である。 本稿では,ノードのクローン化による新たなグラフ変換手法を提案する。
  論文  参考訳（メタデータ） (2019-12-27T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。