論文の概要: HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization
- arxiv url: http://arxiv.org/abs/2606.26614v1
- Date: Thu, 25 Jun 2026 05:19:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.177819
- Title: HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization
- Title（参考訳）: HiLSVA: 科学的可視化のためのヒューマン・イン・ザ・ループエージェント・システムの設計と評価
- Abstract要約: 我々は、混合開始型SciVisをサポートするHLSVA(Human-in-the-loop agentic system)を提案する。
HiLSVAはエージェントSciVisを人間の分析的推論を置き換えるのではなく、協力的なプロセスとして再構成する。
- 参考スコア（独自算出の注目度）: 5.471754854260734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents enable natural language interaction for scientific visualization (SciVis). Still, prior systems have essentially prioritized autonomy over human analytical control, thereby limiting transparency and human oversight. We present HiLSVA, a human-in-the-loop agentic system that supports mixed-initiative SciVis workflows. HiLSVA integrates a plan-first multi-agent architecture with explicit human oversight, stepwise provenance tracking, and learn-at-test-time adaptation from user feedback. The system supports fluid handoff between humans and agents through both natural language and direct manipulation of visualizations, while sandboxed execution ensures safe, reproducible workflows. In doing so, HiLSVA reframes agentic SciVis as a collaborative process that augments, rather than replaces, human analytical reasoning. We evaluate HiLSVA through representative case studies and a controlled user study with twelve participants of varying expertise across multiple autonomy settings. Results show that mixed-initiative interaction improves task completion, user control, and workflow transparency across different levels of user expertise, while revealing a tradeoff between execution efficiency and human oversight. These findings highlight the importance of human-centered design in agentic SciVis and guide the development of future collaborative visualization systems. We encourage readers to explore our demo video, case studies, and source code at https://hilsva.github.io/.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、科学的な可視化のための自然言語インタラクションを可能にする。
それでも、従来のシステムは、人間の分析制御よりも自律性を優先しており、透明性と人間の監視を制限している。
我々は、混在開始型SciVisワークフローをサポートするHLSVA(Human-in-the-loop agentic system)を提案する。
HiLSVAは、計画ファーストのマルチエージェントアーキテクチャと、明示的な人間の監視、ステップワイドなプロファイランストラッキング、ユーザフィードバックからの学習とテストの時間適応を統合している。
このシステムは、自然言語と視覚化の直接操作の両方を通じて人間とエージェントの流体ハンドオフをサポートし、サンドボックス化された実行は安全で再現可能なワークフローを保証する。
その際、HiLSVAはエージェントSciVisを人間の分析的推論を置き換えるのではなく、協力的なプロセスとして再構成する。
代表ケーススタディと制御されたユーザスタディにより,複数の自律環境にまたがるさまざまな専門知識を持つ12人の参加者を対象に,HiLSVAを評価した。
その結果、混合開始的インタラクションは、タスク補完、ユーザコントロール、ワークフローの透明性を、さまざまなレベルのユーザの専門知識で改善し、実行効率と人間の監視とのトレードオフを明らかにします。
これらの知見はエージェントSciVisにおける人中心設計の重要性を強調し、今後の協調可視化システムの開発を導くものである。
私たちは読者に対して、デモビデオ、ケーススタディ、ソースコードをhttps://hilsva.github.io/.comで調査することを勧めています。
関連論文リスト
- SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents [12.966844873205048]
SciVisAgentBenchは、科学データ分析および可視化エージェントを評価するための基本的なベンチマークである。
私たちのベンチマークは、アプリケーションドメイン、データタイプ、複雑性レベル、可視化操作の4つの次元にまたがる構造化分類に基づいています。
現在、さまざまなSciVisシナリオをカバーする108のエキスパートクラフトケースで構成されている。
論文 参考訳（メタデータ） (2026-03-31T01:41:28Z) - From Control to Foresight: Simulation as a New Paradigm for Human-Agent Collaboration [14.322953078328693]
効果的なコラボレーションには、コントロールだけでなく、前もって注意が必要だ、と私たちは主張します。
シミュレーション・イン・ザ・ループは,ユーザとエージェントがシミュレーションされた将来の軌道を探索することを可能にする対話パラダイムである。
論文 参考訳（メタデータ） (2026-03-12T08:42:33Z) - HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。
私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。
次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
論文 参考訳（メタデータ） (2026-01-22T09:27:27Z) - AlignUSER: Human-Aligned LLM Agents via World Models for Recommender System Evaluation [0.7031557790463293]
人間のインタラクションから世界モデル駆動エージェントを学習するフレームワークであるAlignを紹介する。
実証に関する反事実的軌跡を生成し, LLMに人間の選択と判断を比較し, 準最適行動を特定し, 教訓を抽出するよう促す。
論文 参考訳（メタデータ） (2026-01-02T03:01:33Z) - See, Think, Act: Online Shopper Behavior Simulation with VLM Agents [58.92444959954643]
本稿では,視覚情報,特にWebページスクリーンショットのVLMによる動作シミュレーションへの統合について検討する。
我々は,協調行動予測と合理化生成にSFTを用いて,相互作用の完全な文脈を条件づける。
推論能力をさらに強化するため,RLを階層的な報酬構造と統合し,難易度因子によって拡張する。
論文 参考訳（メタデータ） (2025-10-22T05:07:14Z) - Magentic-UI: Towards Human-in-the-loop Agentic Systems [34.50407835250159]
本稿では,ヒューマンエージェントインタラクションの開発と研究のためのオープンソースのWebインターフェースであるMagentic-UIを紹介する。
柔軟なマルチエージェントアーキテクチャに基づいて構築されたMagentic-UIは、Webブラウジング、コード実行、ファイル操作をサポートする。
エージェントベンチマークによる自律的なタスク補完、インタラクション機能のユーザテストのシミュレーション、実際のユーザとの質的研究、ターゲットとする安全性評価の4つの側面でMagentic-UIを評価した。
論文 参考訳（メタデータ） (2025-07-30T03:49:14Z) - Mapping Neural Signals to Agent Performance, A Step Towards Reinforcement Learning from Neural Feedback [2.9060647847644985]
NEURO-LOOPは、人間とエージェントの相互作用を促進するために、本質的な人間報酬システムを利用する暗黙のフィードバックフレームワークである。
この研究は、NEURO-LOOPフレームワークにおける重要な第一歩である脳信号をエージェントのパフォーマンスにマッピングする可能性を示している。
従来の機械学習手法を用いて,fNIRSデータとエージェント性能の関係を検証した。
論文 参考訳（メタデータ） (2025-06-14T21:38:31Z) - Memento No More: Coaching AI Agents to Master Multiple Tasks via Hints Internalization [56.674356045200696]
本稿では,複雑なメモシステムや事前の高品質な実演データを必要としない,複数のタスクに対する知識とスキルを取り入れたAIエージェントの訓練手法を提案する。
このアプローチでは,エージェントが新たな経験を収集し,ヒントの形で人間から補正フィードバックを受け取り,このフィードバックを重みに組み込む,反復的なプロセスを採用している。
Llama-3をベースとしたエージェントに実装することで,数ラウンドのフィードバックの後,高度なモデルGPT-4oとDeepSeek-V3をタスクセットで性能向上させる手法の有効性を実証する。
論文 参考訳（メタデータ） (2025-02-03T17:45:46Z) - Visual Agents as Fast and Slow Thinkers [88.1404921693082]
本稿では、Fast and Slow Thinking機構を視覚エージェントに組み込んだFaSTを紹介する。
FaSTは、システム1/2モード間の動的選択にスイッチアダプタを使用する。
モデルの信頼性を調整し、新しいコンテキストデータを統合することで、不確実で目に見えないオブジェクトに取り組む。
論文 参考訳（メタデータ） (2024-08-16T17:44:02Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳（メタデータ） (2024-01-07T19:11:18Z) - Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。
コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation,
Generation and Editing [99.80742991922992]
本システムは,マルチモーダルなユーザ入力を受信し,マルチモーダルな応答を生成することで,ユーザとのマルチターン対話を実現する。
LLaVA-Interactiveは言語プロンプトを超えており、視覚的プロンプトは、インタラクションにおける人間の意図を調整するために有効である。
論文 参考訳（メタデータ） (2023-11-01T15:13:43Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳（メタデータ） (2023-06-05T02:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。