論文の概要: JarvisBench: Always-on Intelligence Between Humans and Agents
- arxiv url: http://arxiv.org/abs/2608.14870v1
- Date: Fri, 14 Aug 2026 20:17:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.117431
- Title: JarvisBench: Always-on Intelligence Between Humans and Agents
- Title（参考訳）: JarvisBench: 常に人間とエージェントのインテリジェンス
- Abstract要約: 我々は常に注目の調整を行う層を提案する。
textitJarvisfootnote このインターフェイスを仲介し、1つ以上の作業員に人間の注意を割り当てる。
我々の参照実装は、さらにフルランタイムの音声インターフェースを提供し、ユーザーが自然にJarvisに到達できるようにし、タイムリーな注意調整はバックグラウンドで作業するエージェントをサポートする。
- 参考スコア（独自算出の注目度）: 14.486707156197156
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Long-horizon agents can execute continuously, but human attention remains intermittent and scarce. This creates a bidirectional coordination problem: users may need immediate access to an agent while work continues in the background, whereas agents may encounter consequential decisions that require user judgment after the user has stopped monitoring execution. We posit an always-on attention-coordination layer---\textit{Jarvis}\footnote{Named after the fictional AI assistant in \textit{Iron Man}.}---that mediates this interface and allocates human attention across one or more working agents. We introduce \textit{JarvisBench} to evaluate both directions of this coordination: whether an intermediary can accurately and promptly answer user-initiated questions about ongoing work, and whether it can recognize when an agent requires user judgment, solicit that judgment at the right moment, and route it back to improve task outcomes. JarvisBench contains 45 agentic task instances: 20 single-agent tasks and 25 workstreams organized into 10 multi-agent projects. The tasks span 19 domains and were selected and adapted from more than 2,000 public candidates. Crucially, the need for user attention arises naturally during execution rather than from an obvious omission in the initial prompt. JarvisBench is designed to integrate with arbitrary agent runtimes without modifying their underlying execution loops. Our reference implementation further provides a full-duplex speech interface, allowing users to reach Jarvis naturally while timely attention coordination supports agents working in the background. By separating agent execution from attention coordination, JarvisBench provides a stable evaluation target as agent capabilities continue to improve.
- Abstract（参考訳）: ロングホライゾン剤は連続的に作用するが、人間の注意は断続的で不足している。
作業がバックグラウンドで継続している間、ユーザはエージェントへの即時アクセスを必要とし、一方、エージェントは、ユーザが実行を監視するのをやめた後、ユーザの判断を必要とする連続的な決定に遭遇する可能性がある。
私たちは、常にオンの注意調整層----\textit{Jarvis}\footnote{Named in \textit{Iron Man}.}----このインターフェースを仲介し、1つ以上の作業員に人間の注意を割り当てます。
本稿では,現在進行中の作業に関するユーザ主導の質問に対して,仲介者が正確に迅速かつ迅速に回答することができるか,エージェントがユーザ判断を必要とするかどうかを判断し,適切なタイミングで判断を誘導し,タスク結果を改善するために経路を戻すことができるか,という,この調整の方向性を評価するために,‘textit{JarvisBench} を導入する。
JarvisBenchには45のエージェントタスクインスタンスが含まれている。
タスクは19のドメインにまたがり、2000以上の候補から選ばれ、適応された。
重要なのは、初期プロンプトにおける明らかな省略ではなく、実行中にユーザ注意の必要性が自然に生じることだ。
JarvisBenchは、基盤となる実行ループを変更することなく、任意のエージェントランタイムと統合するように設計されている。
我々の参照実装は、さらに全二重音声インタフェースを提供し、ユーザーは、タイムリーな注意調整がバックグラウンドで作業するエージェントをサポートする一方で、自然にJarvisに到達することができる。
エージェントの実行とアテンション調整を分離することで、JarvisBenchはエージェント機能の改善が続くにつれて、安定した評価ターゲットを提供する。
関連論文リスト
- Just A Rather Very Intelligent Spoken Agent [14.486707156197156]
長期的なAIエージェントはますます有能になってきていますが、ユーザとのインタラクションは驚くほど薄くなっています。
このような仲介者は、ユーザとのリアルタイムな対話をサポートし、労働者を邪魔することなく質問に答え、進捗や混乱を積極的に報告し、有用であればエージェントの実行にユーザーガイダンスを注入する必要がある。
モジュラー参照のJarvisプロトタイプを用いてベンチマークをインスタンス化し、OpenClawで実行される34のテキストのみのWildClawタスクで評価する。
論文 参考訳（メタデータ） (2026-07-18T03:10:19Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop [1.4279471205248535]
ProcAgentは、NVIDIA Jetson AGX Orinのリアルタイム適応ガイダンスのための視覚ベースのプロシージャアシスタントである。
ProcAgentは知覚精度,推論,タスクレベルのパフォーマンス,ユーザエクスペリエンスの4つの側面で評価する。
論文 参考訳（メタデータ） (2026-06-09T17:56:28Z) - SentinelBench: A Benchmark for Long-Running Monitoring Agents [20.69666656998877]
SentinelBenchは、時間進化モニタリングタスクのためのオープンソースのベンチマークである。
メール、カレンダー、ファイナンス、プロフェッショナルネットワーキング、エンターテイメントなど10の合成ウェブ環境に100のタスクがある。
タスク完了、反応時間、リソース使用量を計測し、応答性とコストのトレードオフを明らかにする。
論文 参考訳（メタデータ） (2026-06-03T18:32:00Z) - Multi-Agent Computer Use [72.79887808312706]
我々はマルチエージェント・コンピュータ・ユース(MACU)システムの評価・構築に向けて進むべきであると論じる。
本稿では、マネージャモデルがコンピュータ使用タスクを有向非巡回グラフ(DAG)として分解する汎用マルチエージェント構成を提案する。
各イテレーションで、マネージャは並列CUAサブエージェントをディスパッチし、DAGの準備ができているフロンティアでノードを実行する。
論文 参考訳（メタデータ） (2026-06-01T01:29:36Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - AgentFugue: Agent Scaling for Long-Horizon Tasks through Collective Reasoning [57.72181998599248]
AgentFugueは、共通の推論ハブを中心に構築された、集合的推論フレームワークである。
ピアエージェントが同じタスクを並列に探索する際、ハブは各エージェントが何を確立、試み、あるいは除外したかを簡潔に記録する。
この結果から,集団推論によってピアエージェントシステムのスケールアウトが実現可能であることが示唆された。
論文 参考訳（メタデータ） (2026-05-23T09:21:51Z) - $π$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows [42.58170802121853]
$$-Benchは、5つのドメイン固有のユーザペルソナにわたる100のマルチターンタスクからなるプロアクティブアシストのベンチマークである。
隠れたユーザインテント、タスク間の依存関係、セッション間の連続性によって、$$$-Benchは、拡張されたインタラクションよりもユーザニーズを予測し、対処するエージェントの能力を評価する。
論文 参考訳（メタデータ） (2026-05-14T10:47:04Z) - PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records [67.68348568175718]
パーソナライズされたGUIエージェント(PersonalAlign)の階層的意図的アライメントに注目した。
PersonalAlignは、曖昧な指示で省略された好みを解決するために、長期的なユーザレコードを永続的なコンテキストとして活用する必要がある。
GPT-5, Qwen3-VL, UI-TARSなどのGUIエージェントをAndroidIntent上で評価する。
論文 参考訳（メタデータ） (2026-01-14T17:12:48Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z) - YETI (YET to Intervene) Proactive Interventions by Multimodal AI Agents in Augmented Reality Tasks [16.443149180969776]
Augmented Reality (AR)ヘッドウェアは、日々の手続き的なタスクを解く際のユーザエクスペリエンスを一意に改善することができる。
このようなAR機能は、AIエージェントがユーザーのマルチモーダル機能に関連するアクションを見て耳を傾けるのに役立つ。
一方、AIエージェントのプロアクティビティは、人間が観察されたタスクのミスを検出し、修正するのに役立つ。
論文 参考訳（メタデータ） (2025-01-16T08:06:02Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳（メタデータ） (2024-02-14T14:36:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。