論文の概要: ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability
- arxiv url: http://arxiv.org/abs/2607.02686v1
- Date: Thu, 02 Jul 2026 18:26:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.391784
- Title: ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability
- Title（参考訳）: ASK in the Dark: Uncertainty-Gated LLM Assistance under partial Observability (特集:MEとバイオサイバネティックス)
- Abstract要約: 部分観測可能性の下で動作している強化学習エージェントは、不完全な情報に対処しなければならない。
バニラの不確実性を持つアプローチは、ゼロに近いかゼロに近いオーバーライト率を達成する。
提案するASK+は,SLMに軌道認識コンテキストと構造的チェーン・オブ・シークレット推論を付与する。
- 参考スコア（独自算出の注目度）: 1.4658969243465867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning agents operating under partial observability must act on incomplete information, making them natural candidates for guidance from small language models (SLMs) that carry broad reasoning priors. Yet integrating SLM guidance into this setting has proven difficult: across all test environments, vanilla uncertainty-gated approaches achieve an overwrite rate at or near zero, meaning the SLM almost never contributes an independent action. We trace this failure to the bare egocentric prompt, which provides insufficient context for genuine reasoning, and identify it as a context problem rather than a capacity problem. We propose ASK+, which supplies the SLM with trajectory-aware context (a partially revealed map, visited positions, and action history) and structured chain-of-thought reasoning, converting it from a passive redundancy check into a more informative consultant that occasionally corrects the policy. We further establish that the predictive entropy signal used for selective querying measures action uncertainty rather than state uncertainty and remains informative in POMDPs, making uncertainty-gated assistance viable beyond fully observable settings. The stateful prompt drives substantial gains: on DoorKey, where vanilla ASK matches PPO (both 89%), ASK+ reaches 93% success; on FourRooms, success climbs from 53% to 70%; on HigherLower, accuracy reaches 73.7%, matching the SLM-only upper bound. Across all environments, Qwen3.5-2B matches or exceeds Qwen3.5-4B, confirming that prompt design and selective gating dominate the impact of model scale, enabling guidance without large models.
- Abstract（参考訳）: 部分的可観測性の下で動作している強化学習エージェントは、不完全な情報に作用し、より広い推論先を持つ小言語モデル(SLM)からのガイダンスの自然な候補となる。
しかし、SLMのガイダンスをこの設定に組み込むことは難しく、すべてのテスト環境において、バニラの不確実性のあるアプローチはゼロに近いオーバーライト率を達成する。
我々は、この失敗を、真の推論に不十分なコンテキストを提供する非自我中心のプロンプトに辿り着き、キャパシティ問題ではなくコンテキスト問題として認識する。
提案するASK+は,SLMにトラジェクティブ・アウェア・コンテキスト(部分的に明らかになった地図,訪問位置,行動履歴)と構造化チェーン・オブ・シークレット推論を付加し,パッシブ・冗長性チェックからポリシーを時折修正するより情報に富んだコンサルタントに変換する。
さらに、選択的な問合せに使用される予測エントロピー信号は、状態不確実性よりも不確実性に作用し、POMDPにおいて情報的であり、完全に観測可能な設定を超えて不確実性有意な補助が実現可能であることを確認した。
バニラASKがPPOに89%、ASK+が93%、FourRoomsが53%から70%、HigherLowerが73.7%、SLMのみの上限が73.7%である。
あらゆる環境において、Qwen3.5-2BはQwen3.5-4Bと一致するか超え、設計と選択ゲーティングがモデルスケールの影響を左右し、大型モデルなしでガイダンスを可能にすることを確認した。
関連論文リスト
- Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。
提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。
以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
論文 参考訳（メタデータ） (2026-04-27T14:13:30Z) - Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty [19.65441892575154]
UA-Benchは、知識集約型タスクと推論集約型タスクにまたがる6つのデータセットから抽出された3500以上の質問のベンチマークである。
18のフロンティアLCMの評価は、最先端のモデルでさえ、データの不確実性とモデルの不確実性を確実に識別するのに苦労していることを示している。
思考モードにおけるQwen3-4B-Instruct-2507とQwen3-8Bの両方の実験結果から,提案手法は解答精度を保ちながら不確実性が向上することが示された。
論文 参考訳（メタデータ） (2026-04-19T07:15:23Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - Rubric-Conditioned LLM Grading: Alignment, Uncertainty, and Robustness [4.129847064263056]
ルーブリックをベースとした短問合せ学習における大規模言語モデルの性能を体系的に評価する。
二つのタスクに対してアライメントは強いが、粗い粒度が増すにつれて劣化する。
実験により、モデルが注射に抵抗性がある一方で、同義置換に敏感であることが判明した。
論文 参考訳（メタデータ） (2025-12-21T05:22:04Z) - Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。
これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。
PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
論文 参考訳（メタデータ） (2025-12-06T03:02:55Z) - Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。
ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
論文 参考訳（メタデータ） (2025-11-24T22:50:50Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。
セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
論文 参考訳（メタデータ） (2025-05-18T10:20:59Z) - Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models [0.6091702876917281]
大規模言語モデル(LLM)は、自然言語処理において顕著な熟練度を示す。
予測された信頼と真の正しさの過度なミスサライメントは、重要な意思決定アプリケーションに重大なリスクをもたらす。
9つのLCMと3つの質問応答データセットにわたるLCMの校正に関する包括的分析を行った。
論文 参考訳（メタデータ） (2025-02-16T07:46:09Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。