論文の概要: Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent
- arxiv url: http://arxiv.org/abs/2606.20585v1
- Date: Wed, 13 May 2026 16:07:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 19:20:28.859467
- Title: Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent
- Title（参考訳）: インテントを仕様に変換する - ベンチマークと対話型ユーザアシストエージェント
- Abstract要約: SpecBenchは、エージェントがユーザの意図を構造化された実行可能な仕様に変換する能力を評価するための新しいベンチマークである。
エージェントには過去のユーザ会話へのアクセスが与えられ、一定回数のラウンドでユーザと対話して、明確な質問をすることができる。
- 参考スコア（独自算出の注目度）: 22.126763421836966
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Today's agents are highly effective at implementing well-scoped software design plans, but user intent is often vague and admits multiple equally valid solutions. In this paper, we introduce SpecBench, a new benchmark for evaluating an agent's ability to translate user intent into a structured, executable specification that aligns with user preferences. The agent is given access to past user conversations and may interact with the user for a fixed number of rounds to ask clarifying questions. We find that existing agents exhibit two extreme behaviors: they either (i) struggle to collaborate proactively with users, entering implementation mode too quickly while overestimating their understanding of user preferences, or (ii) exhaust their question budget by asking about every ambiguous design choice. To address this limitation, we introduce a user-assistant agent: Buddy. It follows a workflow inspired by classical morphological analysis, decomposing user intent into a structured space of design dimensions and candidate choices. It then creates simulated users to evaluate these choices, before engaging the real user to resolve remaining ambiguities and finalize the specification. By shifting the focus from execution to specification, SpecBench and Buddy emphasize agent-user collaboration (not just code generation) as a key frontier in future agent design.
- Abstract（参考訳）: 今日のエージェントは、よくスコープされたソフトウェア設計プランを実装するのに非常に効果的ですが、ユーザの意図は曖昧で、複数の同等なソリューションを認めています。
本稿では,ユーザの好みに合わせた構造化された実行可能な仕様に,エージェントの意図を翻訳する能力を評価するための新しいベンチマークであるSpecBenchを紹介する。
エージェントには過去のユーザ会話へのアクセスが与えられ、一定回数のラウンドでユーザと対話して、明確な質問をすることができる。
既存のエージェントは2つの極端な行動を示します。
(i)ユーザの好みに対する理解を過大評価しながら、ユーザと積極的に協力したり、実装モードを素早く入力したり、あるいは
(二)不明瞭な設計選択について尋ねることにより、質問予算を浪費する。
この制限に対処するために、ユーザ支援エージェントであるBuddyを紹介します。
それは、古典的な形態分析にインスパイアされたワークフローに従い、ユーザー意図を設計次元と候補選択の構造化された空間に分解する。
そして、実際のユーザが残りの曖昧さを解決し、仕様を確定する前に、これらの選択を評価するためのシミュレーションユーザを生成します。
SpecBenchとBuddyは、実行から仕様へ焦点を移すことによって、将来のエージェント設計における重要なフロンティアとして、エージェントとユーザ間のコラボレーション(コード生成だけでなく)を強調している。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - Beyond expert users: agents should help users construct preferences, not just elicit them [31.382826707274685]
エージェントダイアログアクションに基づいた好み構築モデルであるCoPrefを紹介する。
CoShopでは、エージェントがCoPrefユーザと会話し、推奨する。
相互作用が5回あるにもかかわらず、CoShopの精度が56%を超えるエージェントは存在しない。
論文 参考訳（メタデータ） (2026-06-29T19:50:16Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z) - Creating General User Models from Computer Use [53.59999173952482]
本稿では,コンピュータとのインタラクションを観察することでユーザについて学習する汎用ユーザモデル(GUM)のアーキテクチャを提案する。
GUMは、ユーザ(例えばデバイスのスクリーンショット)の非構造化観察を入力として受け取り、ユーザの知識と好みをキャプチャする信頼度重み付け命題を構築する。
論文 参考訳（メタデータ） (2025-05-16T04:00:31Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳（メタデータ） (2024-02-14T14:36:30Z) - Diagnosis, Feedback, Adaptation: A Human-in-the-Loop Framework for
Test-Time Policy Adaptation [20.266695694005943]
ポリシーは新しい環境にポリシーがデプロイされたときに発生する状態と報酬の変化によって、しばしば失敗する。
データ拡張は、エージェントの観察におけるタスク非関連の変化にモデルを不変にすることで、ロバスト性を高めることができる。
本稿では,ユーザからのフィードバックを直接活用して,タスク関連概念をパーソナライズする対話型フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-12T17:55:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。