Fugu-MT 論文翻訳(概要): A note on the impossibility of conditional PAC-efficient reasoning in large language models

論文の概要: A note on the impossibility of conditional PAC-efficient reasoning in large language models

arxiv url: http://arxiv.org/abs/2512.03057v1
Date: Tue, 25 Nov 2025 17:08:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-04 20:02:54.919654
Title: A note on the impossibility of conditional PAC-efficient reasoning in large language models
Title（参考訳）: 大規模言語モデルにおける条件付きPAC効率推論の不確実性について
Authors: Hao Zeng,
Abstract要約: 本研究では, 条件付きPAC効率保証は, 分散フリー環境では不可能であることを示す。特に、非原子入力空間の場合、条件付きPAC効率を達成するアルゴリズムは自明でなければならない。
参考スコア（独自算出の注目度）: 2.9174099783289296
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove an impossibility result for conditional Probably Approximately Correct (PAC)-efficient reasoning in large language models. While recent work has established marginal PAC efficiency guarantees for composite models that switch between expensive expert models and cheaper fast models, we show that conditional (pointwise) guarantees are impossible in the distribution-free setting. Specifically, for non-atomic input spaces, any algorithm achieving conditional PAC efficiency must be trivial in the sense that it defers to the expert model with probability at least $1-α$ for almost every input.
Abstract（参考訳）: 本研究では,大言語モデルにおける条件付き確率的近似(PAC)-係数推論の不確かさを証明した。最近の研究は、高価なエキスパートモデルとより安価な高速モデルとを切り替える複合モデルに対する限界PAC効率保証を確立しているが、分布のない環境では条件付き(ポイントワイド)保証は不可能であることを示す。特に、非原子入力空間の場合、条件付きPAC効率を達成するアルゴリズムは、ほぼ全ての入力に対して少なくとも1-α$の確率を持つエキスパートモデルに反するという意味では、自明でなければならない。

関連論文リスト

C3PO: Optimized Large Language Model Cascades with Probabilistic Cost Constraints for Reasoning [24.65381108650337]
大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な結果を得たが、その高い推論コストは、現実世界のデプロイメントにとって大きな障壁であり続けている。既存のカスケード法はラベル付きデータによる教師付きトレーニングに依存しており、理論的一般化の保証は提供せず、テスト時間計算コストの制限も与えている。確率的コスト制約の下でLLMカスケードを最適化するための自己教師型フレームワークであるC3POを紹介する。
論文参考訳（メタデータ） (2025-11-10T18:50:27Z)
Syntactic Control of Language Models by Posterior Inference [53.823006836309695]
言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって重要である。後部推論に基づくサンプリングアルゴリズムは、生成中に対象の選挙区構造を効果的に強制することができると論じる。提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。
論文参考訳（メタデータ） (2025-06-08T14:01:34Z)
Provably Sample-Efficient Robust Reinforcement Learning with Average Reward [4.530028899565083]
本稿では,$ell_p$-normと汚染モデルにより特徴付けられる遷移不確実性を持つロバストなマルコフ決定過程(MDP)を設計した新しいアルゴリズムを提案する。我々のアルゴリズムは、頑健なMDPの事前知識を必要とせずに動作する。我々の研究は、ロバスト平均報酬RLのサンプル効率の基本的な理論的理解を提供する。
論文参考訳（メタデータ） (2025-05-18T15:34:45Z)
Improving Large Models with Small models: Lower Costs and Better Performance [81.55672406002715]
我々は,小型モデルと大規模モデルの協調のための一般的なパラダイムであるData Shunt$+$ (DS$+$)を提案する。例えば、ChatGPTはAmazon Productの感情分析で9,43%の精度を達成し、DS$+は9,5.64%の精度を達成している。
論文参考訳（メタデータ） (2024-06-15T14:44:43Z)
Faster Cascades via Speculative Decoding [66.16909847419198]
カスケードと投機的復号化は、言語モデルの推論効率を改善するためのアプローチである。提案手法は,投機的実行による推論規則を実装した新しい投機的カスケード手法である。我々の手法は、カスケードや投機的復号化ベースラインよりもコスト品質のトレードオフが優れていることを示す。
論文参考訳（メタデータ） (2024-05-29T16:55:08Z)
Probabilistic Circuits with Constraints via Convex Optimization [2.6436521007616114]
提案手法は,PCと制約の両方を入力とし,制約を満たす新しいPCを出力する。実証的な評価は、制約とPCの組み合わせには複数のユースケースが存在することを示している。
論文参考訳（メタデータ） (2024-03-19T19:55:38Z)
PAC Verification of Statistical Algorithms [0.10878040851637999]
本研究では,PAC学習目標を満たす仮説(機械学習モデル)を対話的証明を用いて検証する,PAC検証の設定を開発する。我々は、$mathbbR$を超える間隔の和のPAC検証のためのプロトコルを提案し、そのタスクの提案したプロトコルを改善し、より低い境界の$d$への依存と一致させる。最終結果は,クエリの制約を満たす統計的アルゴリズムの検証のためのプロトコルである。
論文参考訳（メタデータ） (2022-11-28T23:57:27Z)
Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。本手法はトラクタビリティを損なうことなく性能を向上する。
論文参考訳（メタデータ） (2022-05-26T18:00:02Z)
PSD Representations for Effective Probability Models [117.35298398434628]
最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
論文参考訳（メタデータ） (2021-06-30T15:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。