論文の概要: Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents

• arxiv url: http://arxiv.org/abs/2603.26233v1
• Date: Fri, 27 Mar 2026 09:56:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.432047
• Title: Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents
• Title（参考訳）: Ask or Assume? Uncerity-Aware Clarification-Seeking in Coding Agents
• Abstract要約: 大規模言語モデル(LLM)エージェントは、ソフトウェア工学のようなオープンなドメインにますますデプロイされています。 我々は, SWE-bench Verified の未特定変種に対する LLM エージェントの解明と探索能力を評価する。 コード実行から不特定性検出を明示的に分離する不確実性認識型マルチエージェントスキャフォールドを提案する。
• 参考スコア（独自算出の注目度）: 4.301199871195023
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As Large Language Model (LLM) agents are increasingly deployed in open-ended domains like software engineering, they frequently encounter underspecified instructions that lack crucial context. While human developers naturally resolve underspecification by asking clarifying questions, current agents are largely optimized for autonomous execution. In this work, we systematically evaluate the clarification-seeking abilities of LLM agents on an underspecified variant of SWE-bench Verified. We propose an uncertainty-aware multi-agent scaffold that explicitly decouples underspecification detection from code execution. Our results demonstrate that this multi-agent system using OpenHands + Claude Sonnet 4.5 achieves a 69.40% task resolve rate, significantly outperforming a standard single-agent setup (61.20%) and closing the performance gap with agents operating on fully specified instructions. Furthermore, we find that the multi-agent system exhibits well-calibrated uncertainty, conserving queries on simple tasks while proactively seeking information on more complex issues. These findings indicate that current models can be turned into proactive collaborators, where agents independently recognize when to ask questions to elicit missing information in real-world, underspecified tasks.
• Abstract（参考訳）: 大きな言語モデル(LLM)エージェントは、ソフトウェアエンジニアリングのようなオープンなドメインにますますデプロイされるので、重要なコンテキストに欠ける不明確な命令に遭遇することが多い。 人間の開発者は質問を明確にすることで不特定性を自然に解決するが、現在のエージェントは自律実行に最適化されている。 本研究では, SWE-bench Verified の未特定変種に対する LLM エージェントの解明・探索能力について, 系統的に評価した。 コード実行から不特定性検出を明示的に分離する不確実性認識型マルチエージェントスキャフォールドを提案する。 その結果、OpenHands + Claude Sonnet 4.5 を用いたマルチエージェントシステムは、69.40%のタスク解決率を実現し、標準のシングルエージェントセットアップ(61.20%)を大幅に上回り、完全に指定された命令で操作するエージェントとの性能ギャップを埋めることを示した。 さらに, マルチエージェントシステムでは, 複雑な問題に関する情報を積極的に求めながら, 単純なタスクに対するクエリを保存し, 精度の高い不確実性を示すことがわかった。 これらの結果は、現在のモデルがプロアクティブなコラボレータに変換され、エージェントは、現実の未特定タスクにおいて欠落した情報を引き出すために、いつ質問をするかを独立に認識できることを示している。

関連論文リスト

• The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
  推論駆動最適化のための統合フレームワークであるReASearchを提案する。 共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。 我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
  論文  参考訳（メタデータ） (2026-08-07T02:15:39Z)
• Formal Verification of Agentic Systems over Operational Data [59.98246281888422]
  大規模言語モデル(LLM)によって駆動されるエージェントシステムは、永続的な運用データを扱う現実世界にますます展開されている。 既存のアプローチはそのようなシステムレベルの保証を提供していません。 本稿では, 1 つの LLM とツールオーケストレーションハーネスからなるエージェントシステムのリレーショナル操作データに対する検証について述べる。
  論文  参考訳（メタデータ） (2026-08-04T13:01:30Z)
• Beyond Generalist LLMs: Specialist Agentic Systems for Structured Code Workflow Execution [0.40631409309544836]
  大規模言語モデル(LLM)は、ソフトウェア開発エージェントの採用を加速し、現在、統合開発環境(IDE)拡張やスタンドアロンアプリケーションとして広く利用されています。 これらのエージェントは一般的に汎用的であるが、専門家がさらなる開発努力を正当化するかどうかは不明だ。 ビジネスプロセス・モデルと表記法(BPMN)のダイアグラムを実行可能なエージェントに変換することに焦点を当て、ビジネスプロセスの自動化という文脈でこの問題を考察する。
  論文  参考訳（メタデータ） (2026-07-16T01:06:38Z)
• AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
  既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。 エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。 AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-11T00:57:36Z)
• AgentSearchBench: A Benchmark for AI Agent Search in the Wild [21.739444037726418]
  本稿では,エージェント検索のための大規模ベンチマークであるAgentSearchBenchを紹介する。 このベンチマークは、エージェント検索を検索として形式化し、実行可能タスククエリと高レベルタスク記述の両方で問題を再分類する。 実行認識型探索を含む軽量な行動信号は、ランキング品質を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2026-04-24T10:53:54Z)
• AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
  持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。 エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。 本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
  論文  参考訳（メタデータ） (2026-01-28T13:49:18Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• AgentAsk: Multi-Agent Systems Need to Ask [26.13279490836716]
  大規模言語モデル(LLM)上に構築されたマルチエージェントシステムは、協調的な分業による問題解決能力の向上を約束する。 我々はAgentAskを提案する。AgentAskは軽量でプラグ・アンド・プレイの明確化モジュールで、すべてのエージェント間メッセージを潜在的な障害点として扱い、エラーの伝播を抑えるのに必要最小限の質問を挿入する。 AgentAskは、公開マルチエージェント実装の精度と堅牢性を継続的に改善し、オーバーヘッドを最小限に抑え、レイテンシと余分なコストを5%以下に抑える。
  論文  参考訳（メタデータ） (2025-10-08T22:36:05Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)
• Defining and Detecting the Defects of the Large Language Model-based Autonomous Agents [31.126001253902416]
  本研究は,LLMエージェントの欠陥の同定と検出に焦点を当てた最初の研究である。 StackOverflowから6,854件の関連記事を収集し分析し、8種類のエージェント欠陥を定義しました。 以上の結果から,Agentableの総合精度は88.79%,リコール率は91.03%であった。
  論文  参考訳（メタデータ） (2024-12-24T11:54:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。