論文の概要: On the Limits of Prompt-Conditioned Language Models as General-Purpose Learners

• arxiv url: http://arxiv.org/abs/2606.23668v1
• Date: Mon, 22 Jun 2026 17:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 17:22:52.008371
• Title: On the Limits of Prompt-Conditioned Language Models as General-Purpose Learners
• Title（参考訳）: 汎用学習者としてのプロンプト型言語モデルの限界について
• Authors: David Mguni, Julian Ma, Jun Wang,
• Abstract要約: 大規模言語モデル(LLM)は、任意のタスクを解くことのできる汎用的な解法としてしばしば表現される。 言語は,タスク情報を伝達するための,圧縮された,容量に制限のあるインターフェースである。 我々は、遅延タスクがどのようにプロンプトにエンコードされ、アライメントと安全性の制約の下で再解釈されるかを分析する。
• 参考スコア（独自算出の注目度）: 4.675635684281315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are frequently portrayed as general-purpose solvers capable of solving arbitrary tasks. We argue that this view overlooks a fundamental constraint: language is a compressed and capacity-limited interface for conveying task information. Modelling User--System interaction as a bilevel \emph{cheap-talk} game, we analyse how latent tasks are encoded into prompts and reinterpreted under alignment and safety constraints. We introduce a conceptual decomposition separating task inference from execution and derive PAC-Bayes bounds that distinguish finite-sample estimation error from irreducible structural limitations. Our first main result establishes an \emph{expressivity floor}: language acts as a capacity-limited communication channel, and whenever the informational complexity of a task family exceeds the capacity of that channel, distinct tasks become unavoidably indistinguishable to the Solver, inducing a strictly positive error floor that cannot be eliminated by additional data, optimisation, or model scaling alone. We then establish an \emph{objective-misalignment floor}: when alignment constraints restrict the admissible output set, the User-ideal distribution may lie outside the feasible class, inducing an irreducible distortion. Together, these results yield a formal negative conclusion: prompt-conditioned LLMs are not universal problem solvers through prompting alone, as there exist task families for which correct behaviour is provably unattainable even in the infinite-data regime. More broadly, our analysis shows the limits of prompt-based generalisation arise from information-constrained communication and alignment-constrained objectives. This suggests that interfaces beyond natural language, including multimodal observations and, external memory, may reduce the inherent LLM limitations by increasing the task-relevant information available to the System.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、任意のタスクを解くことのできる汎用的な解法としてしばしば表現される。 言語は,タスク情報を伝達するための,圧縮された,容量に制限のあるインターフェースである。 ユーザ-システムインタラクションをバイレベルな『emph{cheap-talk}』ゲームとしてモデル化し、潜在タスクがどのようにプロンプトにエンコードされ、アライメントと安全性の制約の下で再解釈されるかを分析する。 本稿では,実行からタスク推論を分離し,有限サンプル推定誤差と既約構造的制約を区別するPAC-Bayes境界を導出する概念的分解手法を提案する。 言語はキャパシティ制限された通信チャネルとして機能し、タスクファミリーの情報複雑さがそのチャネルのキャパシティを超えると、個別のタスクがソルバーと区別不能になり、追加データや最適化、モデルスケーリングだけでは排除できない厳密な正のエラーフロアを誘導する。 次に、 \emph{objective-misalignment floor {\displaystyle \emph{objective-misalignment floor} を定め、アライメント制約が許容出力セットを制限するとき、ユーザ-イデアル分布は実現可能なクラスの外に配置され、既約歪みを誘導する。 プロンプト条件付き LLM は、無限データ体制においても正しい振る舞いが証明不可能なタスクファミリが存在するため、プロンプトだけでは普遍的な問題解決者ではない。 より広範に、情報制約のある通信とアライメント制約のある目的から、プロンプトベースの一般化の限界が生じることを示す。 このことは、マルチモーダル観測や外部メモリを含む自然言語以外のインタフェースは、システムに利用可能なタスク関連情報を増やすことで、固有のLCM制限を減らす可能性があることを示唆している。

関連論文リスト

• Revisiting the Travel Planning Capabilities of Large Language Models [22.520715389751828]
  旅行計画は,emphConstraint extract, emphTool Use, emphPlan Generation, emphError Identification, emphError Correctionの5つのサブ機能に分割する。 LLMは明示的な制約を抽出するのに熟練しているが、暗黙のオープンワールド要件を推測するのに苦労している。
  論文  参考訳（メタデータ） (2026-05-05T02:56:25Z)
• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• Beyond Prompting: Efficient and Robust Contextual Biasing for Speech LLMs via Logit-Space Integration (LOGIC) [8.474586607625737]
  我々は、デコード層で直接動作する効率的で堅牢なフレームワークであるLOGICを紹介する。 LogICは、入力処理からコンテキストインジェクションを分離し、一定時間の複雑さを保証する。 Phi-4-MMモデルを11個の多言語局所で実験したところ、LOGICはEntity WERの平均9%の相対的な減少を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-21T19:08:45Z)
• Beyond Memorization: Testing LLM Reasoning on Unseen Theory of Computation Tasks [8.210112631285666]
  大規模言語モデル(LLM)は、形式的な言語タスクにおいて強力なパフォーマンスを示している。 正規言語を用いた決定論的有限オートマトン (DFA) 構築のためのベンチマークを導入する。 モデルが実際の質問に対して完璧に精度を達成し、タスクに対して84-90%を達成できることを示すが、その精度は目に見えない問題に対して急激に低下する。
  論文  参考訳（メタデータ） (2026-01-19T21:00:31Z)
• Gala: Global LLM Agents for Text-to-Model Translation [12.20235137210144]
  この課題に対処するフレームワークであるGalaを,グローバルなエージェント的アプローチで紹介する。 複数の特殊大規模言語モデル(LLM)エージェントは、グローバル制約型によってモデリングタスクを分解する。 問題をより小さくよく定義されたサブタスクに分割することで、各LSMはより単純な推論問題を扱う。
  論文  参考訳（メタデータ） (2025-09-10T20:04:20Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Unveiling the Invisible: Reasoning Complex Occlusions Amodally with AURA [49.10341970643037]
  アモーダルセグメンテーションは、隠蔽された領域の外観が利用できない場合でも、隠蔽された物体の完全な形状を推測することを目的としている。 現在のアモーダルセグメンテーション手法では、テキスト入力によってユーザと対話する能力が欠如している。 本稿では,隠蔽対象物の完全な非モーダル形状を予測することを目的とした,非モーダル推論セグメンテーション(amodal reasoning segmentation)という新しいタスクを提案する。
  論文  参考訳（メタデータ） (2025-03-13T10:08:18Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。