論文の概要: A Communication-Theoretic Framework for LLM Agents: Cost-Aware Adaptive Reliability
- arxiv url: http://arxiv.org/abs/2605.09121v1
- Date: Sat, 09 May 2026 19:14:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.072773
- Title: A Communication-Theoretic Framework for LLM Agents: Cost-Aware Adaptive Reliability
- Title(参考訳): LLMエージェントのための通信理論フレームワーク:コストアウェア適応信頼性
- Authors: Hamed Omidvar, Vahideh Akhlaghi,
- Abstract要約: 大規模言語モデル(LLM)に基づく大規模言語モデルの信頼性技術について検討する。
これらの信頼性手法は6つの古典的信頼性演算子の特別な場合であることを示す。
本稿では,1つのラグランジアンノブが高品質なフロンティアを横断するコストアレスト近傍ルータを提案する。
- 参考スコア(独自算出の注目度): 0.20625936401496228
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Agents built on large language models (LLMs) rely on a range of reliability techniques, including retry, majority voting, and self-consistency, that have been developed in parallel rather than within a common analytical framework. We observe that an LLM sampled at temperature $T$ is a discrete stochastic channel $p(y \mid x)$ in the sense of Shannon's coding theory, and use this identity as the entry point for such a framework grounded in communication theory. Each of these techniques is a special case of one of six classical reliability operators: diversity combining, hybrid retransmission, iterative generator-critic decoding, rateless sampling, structured redundant verification, and difficulty-adaptive routing. Within the framework we give two closed-form results: a noise-variance threshold above which uniform averaging beats quality-weighted averaging, and a contractivity criterion for generator-critic refinement, consistent with a contractive-to-divergent transition we observe between 3B- and 14B-parameter models. We further introduce a cost-aware semantic-nearest-neighbor router whose single Lagrangian knob traverses the quality-cost frontier without retraining. Across six channel configurations spanning local and cloud models on 69 hard tasks, no fixed model-technique-budget choice dominates, motivating per-task allocation. On a 300-item hard split of MMLU, GSM8K, and HumanEval, our router occupies the full empirical Pareto frontier: at matched quality, its normalized cost is ${\approx}56$\% lower than the strongest fixed technique; at matched normalized cost, it improves quality by ${\approx}7$\% ($26$\% over single-shot decoding). These results argue for consolidating these reliability techniques into a single tunable layer informed by channel coding.
- Abstract(参考訳): 大規模言語モデル(LLM)上に構築されたエージェントは、リトライ、多数決、自己整合性など、さまざまな信頼性技術に依存している。
温度$T$でサンプリングされたLCMはシャノンの符号化理論の意味で離散確率チャネル$p(y \mid x)$であり、通信理論に基づくそのようなフレームワークのエントリポイントとしてこのアイデンティティを使用する。
これらの手法は6つの古典的信頼性演算子のうちの1つとして、ダイバーシティ結合、ハイブリッド再送信、反復的ジェネレータ・クリティック復号、レートレスサンプリング、構造化された冗長検証、困難適応ルーティングがある。
フレームワーク内では, 平均平均値が品質重み付け平均値を上回った雑音分散閾値と, 3B--14B-パラメータモデルの間で観測される縮退遷移と一致した, ジェネレータ・クリティカル・リフレクションの縮退基準の2つの閉形式的結果を与える。
さらに,1つのラグランジアンノブが再学習することなく高品質なフロンティアを横断する,コスト対応セマンティックアレスト近傍ルータを導入する。
69のハードタスク上のローカルモデルとクラウドモデルにまたがる6つのチャネル構成で、固定されたモデル-技術-予算選択が支配的であり、タスク単位の割り当てを動機付けている。
MMLU、GSM8K、HumanEvalの300石のハード分割で、我々のルータは完全な実証的なParetoフロンティアを占有している: 一致した品質では、その正規化コストは最強の固定技術よりも${\approx}56$\%低く、一致した正規化コストでは${\approx}7$\%(シングルショットデコーディングよりも26$\%)向上する。
これらの結果は、これらの信頼性技術をチャネル符号化によって情報を得る単一の調整可能な層に集約することを主張する。
関連論文リスト
- RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した
大規模に展開するのは 違法に高価です
モデル内ルータである textbfRouteLMT を提案する。
論文 参考訳(メタデータ) (2026-04-24T13:02:45Z) - LLM Router: Prefill is All You Need [0.8712940460270026]
完全なフォアビジョンを持つOracleルータは、スタンドアロンモデルの精度を大幅に上回る可能性がある。
ターゲットデカップリングによる内部プリフィルアクティベーションの利用を提案する。
我々は、最適層ワイド信号を分離するために、フィッシャー分離性(J)と有効次元(d_eff)を数学的プローブとして利用する。
論文 参考訳(メタデータ) (2026-03-21T17:55:01Z) - Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。
我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-03-20T19:34:53Z) - $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
$V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。
V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。
V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
論文 参考訳(メタデータ) (2026-03-04T17:22:16Z) - Phase Transition for Budgeted Multi-Agent Synergy [41.486076708302456]
マルチエージェントシステムは信頼性を向上させることができるが、固定された推論予算の下では、しばしば役立つか、飽和するか、崩壊するかさえある。
我々は、現代のエージェントスタックの3つの束縛制約からこれらの状態を予測する最小限の校正可能な理論を開発する。
論文 参考訳(メタデータ) (2026-01-24T05:32:50Z) - Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。
本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
論文 参考訳(メタデータ) (2025-12-23T03:10:09Z) - Semantic Agreement Enables Efficient Open-Ended LLM Cascades [18.119677655287607]
カスケードシステムは、可能な限り小さなモデルに計算要求をルーティングし、必要な時にのみ大きなモデルに遅延する。
我々は,信頼度の高い推論のための訓練自由信号として意味的合意を提案する。
セマンティックカスケードは、40%のコストでターゲットモデル品質に適合または超過し、最大60%のレイテンシを削減している。
論文 参考訳(メタデータ) (2025-09-26T03:51:28Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳(メタデータ) (2025-08-17T20:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。