論文の概要: Just A Rather Very Intelligent Spoken Agent

• arxiv url: http://arxiv.org/abs/2607.16610v1
• Date: Sat, 18 Jul 2026 03:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.195796
• Title: Just A Rather Very Intelligent Spoken Agent
• Title（参考訳）: 知能に満ちたエージェント
• Abstract要約: 長期的なAIエージェントはますます有能になってきていますが、ユーザとのインタラクションは驚くほど薄くなっています。 このような仲介者は、ユーザとのリアルタイムな対話をサポートし、労働者を邪魔することなく質問に答え、進捗や混乱を積極的に報告し、有用であればエージェントの実行にユーザーガイダンスを注入する必要がある。 モジュラー参照のJarvisプロトタイプを用いてベンチマークをインスタンス化し、OpenClawで実行される34のテキストのみのWildClawタスクで評価する。
• 参考スコア（独自算出の注目度）: 14.486707156197156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon AI agents are becoming increasingly capable, yet their interaction with users remains surprisingly thin. In most workflows, users give an initial instruction, receive only selective textual updates, and lose a clear sense of what the agent is doing or when to step in. This leaves a missing part in the current agent ecosystem: an always-on Jarvis-style mediator that keeps the agent continuously reachable to the user. Such a mediator should support real-time spoken interaction with the user, answer questions without interrupting the worker, proactively report progress or confusion, and inject user guidance back into the agent's execution when useful. In this work, we introduce JarvisBench, a benchmark for measuring the dual value of mediation in long-horizon agent workflows. JarvisBench contains two complementary tracks: an agent-collaboration track that measures whether mediation improves downstream task completion, and a user-interaction track that measures whether mediation makes ongoing execution more understandable, responsive, and accessible to users. We instantiate the benchmark with a modular reference Jarvis prototype and evaluate it on 34 text-only WildClaw tasks executed in OpenClaw. Preliminary results with GPT-5.5, Claude Opus 4.7, Gemini-based, and GPT-based worker agents suggest that Jarvis-style mediation can provide trace-grounded responses to user questions and improve task performance when sparse user guidance is injected at appropriate moments. The results also show that effectiveness depends strongly on the mediator's LLM brain, highlighting both the promise of this missing middle layer and the need for broader community effort. Demo page https://cchen1436.github.io/jarvis
• Abstract（参考訳）: 長期的なAIエージェントはますます有能になってきていますが、ユーザとのインタラクションは驚くほど薄くなっています。 ほとんどのワークフローでは、ユーザーは初期命令を与え、選択されたテキスト更新のみを受け取り、エージェントが何をしているか、いつステップインするかを明確に把握できなくなる。 これは現在のエージェントエコシステムに欠けている部分を残している。常にオンになっているJarvisスタイルのメディエータで、エージェントを継続的にユーザにリーチすることができる。 このような仲介者は、ユーザとのリアルタイムな対話をサポートし、労働者を邪魔することなく質問に答え、進捗や混乱を積極的に報告し、有用であればエージェントの実行にユーザーガイダンスを注入する必要がある。 本稿では,長距離エージェントワークフローにおけるメディエーションの二重値を測定するベンチマークであるJarvisBenchを紹介する。 JarvisBenchには2つの補完トラックがある。メディエーションがダウンストリームタスクの完了を改善するかどうかを測定するエージェントコラボレーショントラックと、メディエーションが実行中の実行をより理解しやすく、応答し、アクセスしやすくするユーザインタラクショントラックだ。 モジュラー参照のJarvisプロトタイプを用いてベンチマークをインスタンス化し、OpenClawで実行される34のテキストのみのWildClawタスクで評価する。 GPT-5.5、Claude Opus 4.7、Geminiベース、およびGPTベースのワーカーエージェントによる予備的な結果から、Jarvisスタイルの仲介は、ユーザの質問に対してトレースされた応答を提供し、適切なタイミングでスパースなユーザーガイダンスが注入された場合のタスクパフォーマンスを向上させることを示唆している。 また,メディアのLLM脳に効果が強く依存していることが示唆され,この中間層が欠落していることと,より広いコミュニティの努力の必要性の両方が強調された。 デモページ https://cchen1436.github.io/jarvis

関連論文リスト

• Agent ATO: Visualizing Agent Interaction Timelines from Logs [1.5639957559514246]
  Agent ATOは、コンソールログからAIコーディングエージェントのインタラクションタイムラインを視覚化するツールである。 全インタラクションタイムラインに加えて、ATOはファイル発見、ファイル読み込み、ファイル編集、実行を重視したフィルタリングタイムラインを提供する。
  論文  参考訳（メタデータ） (2026-09-08T06:22:44Z)
• JarvisBench: Always-on Intelligence Between Humans and Agents [14.486707156197156]
  我々は常に注目の調整を行う層を提案する。 textitJarvisfootnote このインターフェイスを仲介し、1つ以上の作業員に人間の注意を割り当てる。 我々の参照実装は、さらにフルランタイムの音声インターフェースを提供し、ユーザーが自然にJarvisに到達できるようにし、タイムリーな注意調整はバックグラウンドで作業するエージェントをサポートする。
  論文  参考訳（メタデータ） (2026-08-14T20:17:24Z)
• SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
  実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。 11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。 我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
  論文  参考訳（メタデータ） (2026-06-29T08:35:15Z)
• SentinelBench: A Benchmark for Long-Running Monitoring Agents [20.69666656998877]
  SentinelBenchは、時間進化モニタリングタスクのためのオープンソースのベンチマークである。 メール、カレンダー、ファイナンス、プロフェッショナルネットワーキング、エンターテイメントなど10の合成ウェブ環境に100のタスクがある。 タスク完了、反応時間、リソース使用量を計測し、応答性とコストのトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2026-06-03T18:32:00Z)
• Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent [22.126763421836966]
  SpecBenchは、エージェントがユーザの意図を構造化された実行可能な仕様に変換する能力を評価するための新しいベンチマークである。 エージェントには過去のユーザ会話へのアクセスが与えられ、一定回数のラウンドでユーザと対話して、明確な質問をすることができる。
  論文  参考訳（メタデータ） (2026-05-13T16:07:43Z)
• Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
  我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。 また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。 このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2026-05-13T11:20:52Z)
• GenericAgent: A Token-Efficient Self-Evolving LLM Agent via Contextual Information Density Maximization (V1.0) [56.81743709880371]
  Long-Horizon Large Language Model (LLM) エージェントは、コンテキストによって根本的に制限される。 長い水平性能は、文脈長ではなく、有限の文脈予算内で意思決定関連情報がどれだけ維持されているかによって決定される。 我々は、情報密度とコンテキストの1つの原理に基づいて構築された汎用的自己進化型LLMエージェントシステムであるGenericAgent(GA)を提案する。
  論文  参考訳（メタデータ） (2026-04-18T17:59:15Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• ReInAgent: A Context-Aware GUI Agent Enabling Human-in-the-Loop Mobile Task Navigation [26.254354188188177]
  ReInAgentは、ヒューマン・イン・ザ・ループのモバイルタスクナビゲーションを可能にする、コンテキスト対応のマルチエージェントフレームワークである。 これは、明確で静的なタスク仮定に依存する既存のアプローチの制限を克服する。 真のユーザの好みとより緊密に一致した結果を生み出すのです。
  論文  参考訳（メタデータ） (2025-10-09T09:22:05Z)
• VC-Agent: An Interactive Agent for Customized Video Dataset Collection [48.65498668743145]
  本稿では,ユーザの質問やフィードバックを理解する対話型エージェントVC-Agentを提案する。 エージェント機能については,既存のマルチモーダルな大規模言語モデルを活用し,ユーザの要求をビデオコンテンツと結びつける。 我々は、パーソナライズされたビデオデータセット収集のための新しいベンチマークを提供し、様々な実シナリオにおけるエージェントの使用状況を検証するために、ユーザースタディを慎重に実施する。
  論文  参考訳（メタデータ） (2025-09-25T15:08:28Z)
• UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
  LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。 マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
  論文  参考訳（メタデータ） (2025-07-29T17:34:12Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。