論文の概要: Agent-Computer Observation Interfaces Enable Dynamic Computer Use
- arxiv url: http://arxiv.org/abs/2606.29472v1
- Date: Sun, 28 Jun 2026 15:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.935187
- Title: Agent-Computer Observation Interfaces Enable Dynamic Computer Use
- Title（参考訳）: 動的コンピュータ利用を可能にするエージェント・コンピュータ・オブザーバ・インタフェース
- Abstract要約: SWEエージェントは、ソフトウェアエージェントの未探索軸としてアクションインターフェースを確立した。
我々は,コンピュータ利用(CU)エージェントにおける観察インタフェースの類似事例を作成する。
- 参考スコア（独自算出の注目度）: 0.33451037881913753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: SWE-agent established the action interface as an underexplored design axis for software-engineering agents; we make the analogous case for the observation interface in computer-use (CU) agents. Current CU agents, closed and open-source alike, tie observation to action--one screenshot every 3-5 s, no audio--leaving them blind and deaf between screenshots to video, animations, transient UI events, meetings, and spoken instructions. We introduce the Agent-Computer Observation Interface (AOI), a model-agnostic perception layer that decouples continuous, adaptive observation from discrete actions through three gated components: inter-step keyframe capture, volume-gated audio transcription, and CU-model-generated visual narration that persists as text. Each produces almost nothing on static, silent content, reducing to the standard loop without degrading it. On DynaCU-Bench (100 dynamic browser tasks plus a 50-task static control), CU models from 7B to frontier scale gain +17 to +48 pp over their screenshot baselines with zero retraining, turning tasks that are near-impossible from periodic screenshots into largely solved ones. The gap is starkest on audio: on a spoken-content subset AOI agents solve every task, whereas streaming voice models hear accurately but cannot act on what they hear without the scaffold. The decomposition is as informative as the headline gain: keyframe selection turns out not to matter--the value comes from narrating captured frames into persistent text--and the interface is not a fixed bundle, since on a newer model (Gemini 3 Flash) the keyframe stream actively regresses through image-token dilution, so its components must be selected per model rather than shipped as one configuration.
- Abstract（参考訳）: SWEエージェントは,ソフトウェア・エンジニアリング・エージェントの未探索設計軸としてアクション・インタフェースを確立し,コンピュータ・ユース・エージェント(CU)における観察インタフェースの類似事例を作成する。
現在のCUエージェントは、クローズドでオープンソースのもののように、観察とアクションを結び付けている。1つのスクリーンショットは3～5秒毎に、音声は不要だ。
本稿では,AOI(Agent-Computer Observation Interface, エージェント・コンピュータ・オブザーバ・インタフェース, AOI)を紹介した。
それぞれが静的でサイレントなコンテンツに対してほとんど何も生成せず、分解することなく標準ループに還元される。
DynaCU-Bench(100の動的ブラウザタスクと50タスクの静的コントロール)では、7Bからフロンティアスケールのゲイン+17から+48ppまでのCUモデルが、スクリーンショットベースラインをゼロリトレーニングで上回り、周期的なスクリーンショットからほぼ不可能なタスクを、ほとんど解決したタスクへと変換する。
AOIエージェントはすべてのタスクを解決しますが、ストリーミング音声モデルは正確に聞こえますが、足場なしには聞こえないのです。
キーフレームの選択は、キャプチャされたフレームを永続的なテキストにナレーションすることによって得られる値であり、インターフェースは固定されたバンドルではない。新しいモデル(Gemini 3 Flash)では、キーフレームストリームはイメージ・トーケンの希釈によって積極的に回帰するため、コンポーネントは1つの構成として出荷されるのではなく、モデル毎に選択されなければならない。
関連論文リスト
- Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation [58.79612575170589]
既存の手法では、重なり合う音響イベントと視覚的インスタンスをマッチングし、音声視覚力学を扱うのに苦労している。
本稿では,2つのメカニズムを用いて,これらの課題に対処するH2Sを提案する。
論文が受け入れられたら、コードはオープンソースになる。
論文 参考訳（メタデータ） (2026-08-04T07:35:57Z) - Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。
LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。
まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。
第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文 参考訳（メタデータ） (2026-06-05T07:29:20Z) - Cookie-Bench: Continuous On-screen Key Interaction Evaluation for Web Generation [24.920344869492066]
textbfdatanameは11ドメイン、54リーフ、1000キューのWebDevベンチマークで、静的表現とインタラクティブアプリケーションの両方にまたがる。
textbfframenameはフラヴェルのメタ認知モニタリングに基づいており、3段階にわたる判断から証拠の蓄積を分離している。
論文 参考訳（メタデータ） (2026-05-28T14:30:33Z) - Covering Human Action Space for Computer Use: Data Synthesis and Benchmark [59.01879944842542]
コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。
しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。
複雑な相互作用におけるモデルの能力を評価するための新しいベンチマークCUActSpotを提案する。
論文 参考訳（メタデータ） (2026-05-12T17:59:58Z) - CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents [17.596111848044476]
CUA-Suiteは、プロのデスクトップコンピュータ利用エージェントのための、専門家によるビデオデモと高密度アノテーションの大規模エコシステムである。
中心となるのがVideoCUAで、87の多様なアプリケーションにわたる約10,000の人為的なタスクを提供する。
CUA-Suiteはさらに2つの補完的なリソースを提供している。UI-VisionはCUAの接地と計画機能を評価するための厳格なベンチマークであり、GroundCUAは56Kの注釈付きスクリーンショットを持つ大規模な接地データセットである。
論文 参考訳（メタデータ） (2026-03-25T15:52:56Z) - StoryTailor:A Zero-Shot Pipeline for Action-Rich Multi-Subject Visual Narratives [7.243114047801061]
本稿では、時間的コヒーレントなアイデンティティ保存画像列を生成するゼロショットパイプラインを提案する。
ストーリーは表現力のあるインタラクションを提供し、安定したシーンを進化させる。
論文 参考訳（メタデータ） (2026-02-24T16:07:02Z) - GraphPad: Inference-Time 3D Scene Graph Updates for Embodied Question Answering [63.17411943434755]
GraphPadは変更可能な構造化メモリで、エージェントはAPI呼び出しを通じてタスクのニーズに合わせて調整できる。
環境を表す可変なシーングラフと、フレームごとにインデックスするナビゲーションログと、タスク固有のノート用のスクラッチパッドとを備える。
論文 参考訳（メタデータ） (2025-06-01T21:13:38Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳（メタデータ） (2025-03-18T06:49:51Z) - Spatio-temporal Prompting Network for Robust Video Feature Extraction [74.54597668310707]
フレームテンポラリ(Frametemporal)は、ビデオ理解の分野における大きな課題の1つだ。
最近のアプローチでは、トランスフォーマーベースの統合モジュールを活用して、時間的品質情報を得る。
N-Temporal Prompting Network (NNSTP) という,クリーンで統一されたフレームワークを提案する。
ネットワークバックボーン内の入力特徴を調整することで,映像特徴の抽出を効率的に行うことができる。
論文 参考訳（メタデータ） (2024-02-04T17:52:04Z) - Learning Spatial-Temporal Graphs for Active Speaker Detection [26.45877018368872]
SPELLは、長距離マルチモーダルグラフを学習し、オーディオと視覚データ間のモーダル関係を符号化するフレームワークである。
まず、各ノードが1人に対応するように、ビデオからグラフを構築する。
グラフに基づく表現の学習は,その空間的・時間的構造から,全体の性能を著しく向上させることを示した。
論文 参考訳（メタデータ） (2021-12-02T18:29:07Z) - Dynamic Graph Representation Learning for Video Dialog via Multi-Modal
Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。
また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。
その結果,全ての評価指標について最先端の性能を示すことができた。
論文 参考訳（メタデータ） (2020-07-08T02:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。