論文の概要: WidgetVA: A Widget-Centric Framework and Benchmark for Agentic Visual Analytics
- arxiv url: http://arxiv.org/abs/2609.24094v1
- Date: Mon, 21 Sep 2026 04:27:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.96767
- Title: WidgetVA: A Widget-Centric Framework and Benchmark for Agentic Visual Analytics
- Title（参考訳）: WidgetVA: エージェントビジュアル分析のためのウィジェット中心フレームワークとベンチマーク
- Abstract要約: ビジュアルアナリティクス(VA)は、インタラクティブな可視化によるセンスメイキングを可能にする。
本稿では,現代の視覚言語モデル (VLM) が自律的VA演算子としてこの役割を担えるかどうかを考察する。
まずウィジェット中心のエージェントVAフレームワークであるWidgetVAを紹介する。
- 参考スコア（独自算出の注目度）: 12.265447672445136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual analytics (VA) enables sensemaking through interactive visualization, but effective analysis often requires experts to translate high-level intents into long sequences of interface operations and iteratively interpret visual feedback. We study whether modern vision-language models (VLMs) can take on this role as autonomous VA operators that observe the interface, plan multi-step exploration, execute interactions, and adapt based on intermediate visual feedback. To support systematic development and evaluation, we first introduce WidgetVA, a widget-centric agentic VA framework that standardizes interactive components as structured widgets with unified action (e.g., filter and zoom) and perception-query (e.g., selection summaries) APIs. This standardization supports two modes of system construction: wrapping an existing VA system to make it agent-operable without rebuilding it, and composing a new system from widgets as modular building blocks. To help agents coordinate across widgets rather than plan each interaction from scratch, each widget further packages reusable analytical workflows, giving agents more than a bare set of callable functions to plan over. Building on this framework, we present WidgetVABench, a benchmark of single- and multi-widget VA tasks that require agents to perform multi-step interactions to uncover evidence and produce verifiable results. Each task also provides fine-grained reference annotations so that WidgetVABench can score Answer, Reference Trace Similarity, and State separately rather than collapsing agent performance into one success score. Experiments across multiple VLMs show that our framework provides an effective scaffold for agentic VA, while the diagnostic measures expose persistent limitations for future work. The WidgetVA framework and WidgetVABench have been released in https://github.com/Hiverwin/widgetva.
- Abstract（参考訳）: ビジュアルアナリティクス(VA)は、インタラクティブな可視化を通じてセンスメイキングを可能にするが、効果的な分析では、しばしば専門家が高レベルの意図を長いインターフェイス操作のシーケンスに変換し、視覚的なフィードバックを反復的に解釈する必要がある。
視覚言語モデル(VLM)がインタフェースを観察し、多段階探索を計画し、相互作用を実行し、中間的な視覚フィードバックに基づいて適応する自律的VA演算子としてこの役割を担えるかどうかを検討する。
まず,ウィジェット中心のエージェントVAフレームワークであるWidgetVAを紹介し,対話型コンポーネントを統一されたアクション(フィルタとズーム)と知覚クエリ(要約の選択など)を備えた構造化ウィジェットとして標準化する。
この標準化はシステム構築の2つのモードをサポートする。既存のVAシステムをラップして、再構築せずにエージェント操作可能にし、ウィジェットから新しいシステムをモジュラービルディングブロックとして構成する。
エージェントがスクラッチから各インタラクションを計画するのではなく、ウィジェット間の協調を支援するために、各ウィジェットは再利用可能な分析ワークフローをさらにパッケージし、エージェントが計画する呼び出し可能な関数セット以上のものを提供します。
このフレームワーク上に構築されたWidgetVABenchは、エージェントが複数のステップのインタラクションを実行し、証拠を発見し、検証結果を生成することを要求する、シングルおよびマルチウィジェットVAタスクのベンチマークである。
WidgetVABenchはエージェントのパフォーマンスを1つの成功スコアに分解するのではなく、Answer、Reference Trace similarity、Stateを別々にスコアできる。
複数のVLMをまたいだ実験により,我々のフレームワークはエージェントVAに有効な足場を提供する一方で,診断基準は今後の作業に永続的な制約を提示することを示した。
WidgetVAフレームワークとWidgetVABenchはhttps://github.com/Hiverwin/widgetva.comでリリースされた。
関連論文リスト
- Exploring Interaction Paradigms for LLM Agents in Scientific Visualization [7.22431217973039]
本稿では,大規模言語モデル(LLM)エージェントが科学的可視化(SciVis)タスクでどのように機能するかを検討する。
我々は、ドメイン固有のエージェントと構造化ツールの使用、コンピュータ利用エージェント、汎用コーディングエージェントの3つの主要な相互作用パラダイムを比較した。
論文 参考訳（メタデータ） (2026-04-30T15:22:28Z) - CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare [37.42599407869901]
マルチモーダルエージェントパイプラインは、複雑で現実的なタスクの効率的でアクセスしやすい自動化を可能にすることによって、人間とコンピュータのインタラクションを変革している。
近年の取り組みは、短期的、あるいは汎用的なアプリケーションに重点を置いており、特に医療において、ドメイン固有のシステムに対する長期的自動化は、ほとんど探索されていない。
本稿では,アクター批判パラダイムに基づくマルチエージェントフレームワークであるCarePilotを紹介する。
実験の結果,CarePilotは最先端のパフォーマンスを達成し,クローズドソースとオープンソースのマルチモーダルベースラインをそれぞれ約15.26%,3.38%向上した。
論文 参考訳（メタデータ） (2026-03-25T10:25:48Z) - RAGVUE: A Diagnostic View for Explainable and Automated Evaluation of Retrieval-Augmented Generation [1.564663326217051]
RAGVUEはRetrieval-Augmented Generation (RAG)システムを評価するためのフレームワークである。
RAGの振る舞いを検索品質、回答の妥当性と完全性、厳格なクレームレベルの忠実さ、および判断の校正に分解する。
RAGVUEは手動のメートル法選択と完全に自動化されたエージェント評価の両方をサポートしている。
論文 参考訳（メタデータ） (2025-12-03T07:42:49Z) - UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist [107.04196084992907]
次世代ビデオジェネラリストのためのオールニ対応マルチエージェントフレームワークUniVAを紹介する。
UniVAはPlan-and-Actのデュアルエージェントアーキテクチャを採用しており、高度に自動化されプロアクティブなワークフローを駆動している。
また、理解、編集、セグメンテーション、生成にまたがるマルチステップビデオタスクのベンチマークスイートUniVA-Benchについても紹介する。
論文 参考訳（メタデータ） (2025-11-11T17:58:13Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳（メタデータ） (2025-09-16T17:45:39Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。
OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。
我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
論文 参考訳（メタデータ） (2025-06-10T15:59:38Z) - XBOUND: Exploring Capability Boundaries of Device-Control Agents at the State Level [43.73689966281675]
Device-Control Agents(DCエージェント)はグラフィカルユーザインタフェース(GUI)を管理する
状態ごとの命令完了の精度を評価するための新しい評価手法 XBOUND を提案する。
UI-TARSは最強の7Bモデルであり、現在のエージェントは命令統一においてバイモーダルなパフォーマンスパターンを示し、サブ7Bモデルは状態熟達において制限されている。
論文 参考訳（メタデータ） (2025-05-27T14:49:30Z) - AgentStudio: A Toolkit for Building General Virtual Agents [57.02375267926862]
一般的な仮想エージェントは、マルチモーダルな観察、複雑なアクション空間のマスター、動的でオープンなドメイン環境における自己改善を扱う必要がある。
AgentStudioは、非常に汎用的な観察とアクション空間を備えた軽量でインタラクティブな環境を提供する。
オンラインベンチマークタスクの作成、GUI要素の注釈付け、ビデオ内のアクションのラベル付けといったツールを統合する。
環境とツールに基づいて、GUIインタラクションと関数呼び出しの両方を効率的な自動評価でベンチマークするオンラインタスクスイートをキュレートします。
論文 参考訳（メタデータ） (2024-03-26T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。