論文の概要: ExploreAI: Agentic Exploration Knowledge Bases for Reproducible Observable-Regression Testing of Black-Box VR and 3D Applications
- arxiv url: http://arxiv.org/abs/2608.21628v1
- Date: Fri, 21 Aug 2026 20:54:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.332772
- Title: ExploreAI: Agentic Exploration Knowledge Bases for Reproducible Observable-Regression Testing of Black-Box VR and 3D Applications
- Title（参考訳）: ExploreAI:Black-Box VRと3Dアプリケーションの再現可能な可観測回帰テストのためのエージェント探索知識ベース
- Abstract要約: 観測可能な障害はテスタの移動場所に依存するため、ブラックボックスVRと3Dアプリケーションは回帰テストが難しい。
繰り返し認識、ナビゲーション、マルチビューキャプチャ実行、特殊なモジュールへのロギングをオフロードするエージェントフレームワークであるExplorreAIを提示する。
- 参考スコア（独自算出の注目度）: 11.23110180610855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-box VR and 3D applications are difficult to regression test because observable failures depend on where a tester moves, what objects are visible, and which views are captured. Manual exploratory testing can find such failures, but its evidence is time-consuming to reproduce; systematic sweeps are reproducible, but they lack semantic guidance and spend exploration budget on low-value viewpoints. We observe that an LLM can make the high-level decisions a human tester makes during exploration: interpreting a task, choosing which objects to inspect, grouping related objects, recording what it saw, and deciding when missing evidence should trigger another attempt. Based on this observation, we present ExploreAI, an LLM-driven agentic framework that offloads repeated perception, navigation, multi-view capture execution, and logging to specialized modules while using the LLM for planning, evidence recording, capture-policy decisions, and verification decisions. ExploreAI constructs an Exploration Knowledge Base (EKB): a structured, per-object record of one exploration run. For each object the agent finds, the EKB stores the scan evidence that exposed it, the selected target, the navigation path, the multi-view capture, and the self-verification result. The EKB is a reusable testing artifact that supports reproducible observable-regression checking across versions of a VR or 3D application. Across six indoor and outdoor scenes in Unity, AI2-THOR, and BeamNG, ExploreAI constructs high-completeness EKBs under both complete and target exploration, and an LLM-module ablation shows where semantic planning, capture policy, evidence recording, and self-verification contribute. Reproduction pilots further show that EKB-guided traces help both humans and LLM-based reproducers reproduce exact object-view evidence more effectively than conditions without EKB context.
- Abstract（参考訳）: 観測可能な障害は、テスタの移動場所、オブジェクトの可視性、ビューのキャプチャーに依存するため、ブラックボックスVRと3Dアプリケーションは回帰テストが難しい。
手動探索テストはそのような失敗を見つけることができるが、その証拠は再現するのに時間がかかる。
タスクの解釈、どのオブジェクトを検査するかの選択、関連するオブジェクトをグループ化し、何を見たかを記録し、証拠の欠落がいつ別の試みを誘発するかを決定する。
本報告では,LLMによるエージェント・フレームワークであるExploreAIについて述べる。このフレームワークは,反復認識,ナビゲーション,マルチビューキャプチャ実行,および特殊なモジュールへのロギングをオフロードし,LCMを計画,エビデンス記録,キャプチャ・ポリシー決定,検証決定に使用する。
ExploreAIはExploration Knowledge Base (EKB)を構築している。
エージェントが見つけた各オブジェクトに対して、EKBは、それを露出したスキャン証拠、選択されたターゲット、ナビゲーションパス、マルチビューキャプチャ、そして自己検証結果を保存する。
EKBは再利用可能なテストアーティファクトであり、VRまたは3Dアプリケーションのバージョン間で再現可能な可観測-回帰チェックをサポートする。
Unity、AI2-THOR、BeamNGの6つの屋内および屋外シーンにおいて、ExploreAIは完全な探査と目標探査の両方の下で高完全性EKBを構築し、LCMモジュールアブレーションはセマンティックプランニング、キャプチャポリシー、エビデンス記録、自己検証の場所を示す。
再現パイロットはさらに、EKB誘導トレースは、人間とLLMベースの再生器の両方が、EKBコンテキストのない条件よりも正確なオブジェクトビューエビデンスを効果的に再現するのに役立つことを示している。
関連論文リスト
- VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning [133.66021945481876]
本稿では,視覚的推論生成をネイティブに制御可能にするテストベッドであるVBVR-Proを紹介する。
VBVR-Proは、視覚的推論を300の手続き的に生成されたタスク空間に変換する。
VLM-as-a-judgeパラダイムの繰り返し発生する障害モードを同定する。
論文 参考訳（メタデータ） (2026-08-26T17:59:51Z) - AgentRVOS: Reasoning over Object Tracks for Zero-Shot Referring Video Object Segmentation [37.67402969516464]
Video Object(RVOS)は、自然言語クエリが与えられたビデオ全体を通じて対象オブジェクトをセグメントすることを目的としている。
そこで本研究では,SAM3とMLLMの相補的な長所をベースとした,トレーニング不要なエージェントパイプラインであるAgentOSを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:55:17Z) - Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。
2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。
本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-16T19:01:31Z) - 3DGSNav: Enhancing Vision-Language Model Reasoning for Object Navigation via Active 3D Gaussian Splatting [12.057873540714098]
3DGSNavは、3D Gaussian Splatting (3DGS)を視覚言語モデル(VLM)の永続メモリとして組み込んで空間推論を強化する新しいフレームワークである。
3DGSNavは環境の3DGS表現を段階的に構築し、フロンティア対応のファーストパーソンビューの軌跡誘導自由視点レンダリングを可能にする。
ナビゲーション中、リアルタイムオブジェクト検出器が潜在的なターゲットをフィルタリングし、VLM駆動のアクティブな視点スイッチングがターゲットを再検証する。
論文 参考訳（メタデータ） (2026-02-12T16:41:26Z) - APEX: A Decoupled Memory-based Explorer for Asynchronous Aerial Object Goal Navigation [26.546610806602803]
Embodied AIの挑戦的なフロンティアであるAerial Object Goal Navigationでは、無人航空機(UAV)エージェントが視覚的知覚と言語記述のみを使用して、特定のターゲットを自律的に探索、推論、識別する必要がある。
既存の手法は、大気環境における複雑な空間表現の記憶、信頼性と解釈可能な行動決定、非効率な探索と情報収集に苦慮している。
我々は,複雑な空中環境下での効率的な探索と目標獲得を目的とした,新しい階層型エージェントであるtextAPEXを紹介した。
論文 参考訳（メタデータ） (2026-01-31T06:27:57Z) - Explore until Confident: Efficient Exploration for Embodied Question Answering [32.27111287314288]
我々は、大きな視覚言語モデルの強力な意味推論機能を活用して、質問を効率的に探索し、答える。
深度情報とVLMの視覚的プロンプトに基づいて,まずシーンのセマンティックマップを構築する手法を提案する。
次に、コンフォメーション予測を用いて、自信に答えるVLMの質問を校正し、いつ探索を中止するかをロボットが知ることができるようにする。
論文 参考訳（メタデータ） (2024-03-23T22:04:03Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳（メタデータ） (2023-07-07T04:03:48Z) - The Devil is in the Task: Exploiting Reciprocal Appearance-Localization
Features for Monocular 3D Object Detection [62.1185839286255]
低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。
DFR-Netという動的特徴反射ネットワークを導入する。
我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
論文 参考訳（メタデータ） (2021-12-28T07:31:18Z) - Deep Learning for UAV-based Object Detection and Tracking: A Survey [25.34399619170044]
無人航空機(UAV)は最近、コンピュータビジョン(CV)とリモートセンシング(RS)の分野でホットスポットになっている。
近年のディープラーニング(DL)の成功に触発されて、様々なUAV関連タスクに多くの高度な物体検出と追跡アプローチが適用されている。
本稿では, DLを用いたUAV物体検出・追跡手法の研究の進展と今後の展望について概説する。
論文 参考訳（メタデータ） (2021-10-25T04:43:24Z) - Explore before Moving: A Feasible Path Estimation and Memory Recalling
Framework for Embodied Navigation [117.26891277593205]
ナビゲーションに焦点をあて,経験や常識に欠ける既存のナビゲーションアルゴリズムの問題を解決する。
移動前に2回思考する能力に触発されて、不慣れな場面で目標を追求する実現可能な経路を考案し、パス推定とメモリリコールフレームワークと呼ばれる経路計画手法を提案する。
EmbodiedQAナビゲーションタスクにおけるPEMRの強力な実験結果を示す。
論文 参考訳（メタデータ） (2021-10-16T13:30:55Z) - Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。
この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。
我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
論文 参考訳（メタデータ） (2020-06-12T09:37:24Z) - Black-box Explanation of Object Detectors via Saliency Maps [66.745167677293]
対象検出器の予測のための視覚的説明を生成するD-RISEを提案する。
本稿では, YOLOv3などの1段検出器やFaster-RCNNのような2段検出器など, 異なる対象検出器に容易にD-RISEを適用可能であることを示す。
論文 参考訳（メタデータ） (2020-06-05T02:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。