論文の概要: ScienceVision: Can AI Observe and Reason Like a Scientist?

• arxiv url: http://arxiv.org/abs/2611.04087v1
• Date: Mon, 02 Nov 2026 23:55:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:29:19.523588
• Title: ScienceVision: Can AI Observe and Reason Like a Scientist?
• Title（参考訳）: 科学ビジョン:AIは科学者のように観察できるのか?
• Abstract要約: ScienceVisionは、専門家レベルの視覚的質問応答による科学的3D理解と推論のためのクロスドメインベンチマークである。 バイオロジー, 化学, 医用イメージング, メカニカルCAD, アーキテクチャから50の質問を合成質問生成とドメインエキスパートレビューとアノテーションを組み合わせたパイプラインで構築する。 エージェントハーネスのファイルとコード実行ツールを介してアクセスされたネイティブな3Dアーティファクトによる視覚的質問応答、モデルコンテキストプロトコル(MCP)を通して公開された専門家にインスパイアされたビューアインスペクションと測定ツールによる同じワークフロー、視覚的質問応答の3つの設定で12のモデルを評価した。
• 参考スコア（独自算出の注目度）: 34.633471244169
• License:
• Abstract: Scientific discovery builds on accurate observations interpreted through domain knowledge and reasoning. For scientific 3D data, this requires understanding structures and spatial relationships, from protein contacts to anatomical organization. Existing multimodal benchmarks largely evaluate text and 2D images, while scientific 3D evaluations vary in representations and protocols across disciplines, limiting cross-disciplinary comparison. To assess these foundational capabilities, we introduce ScienceVision, a cross-domain benchmark for scientific 3D understanding and reasoning through expert-level visual question answering (VQA). We construct 250 questions, with 50 each from Biology, Chemistry, Medical Imaging, Mechanical CAD, and Architecture, through a pipeline combining synthetic question generation with domain-expert review and annotation. Each task pairs a native 3D artifact with a scientific question, a specified response format, and a task-specific reference answer, requiring domain knowledge to be applied to geometric or topological evidence. We evaluate 12 models on the same questions in three settings: visual question answering with native 3D artifacts accessed through an agent harness's file and code-execution tools; the same workflow augmented with expert-inspired viewer inspection and measurement tools exposed through the Model Context Protocol (MCP); and visual question answering from prescribed rendered 2D images using an agent harness. All settings use the same task-specific deterministic final-answer scoring. The inspection environment supports view changes, target isolation, and slice inspection. In this main comparison, the best mean answer score is 0.53 out of 1. Mean scores in the native-artifact workflow without additional MCP tools exceed those in the rendered-image workflow for every model, by 17.2 percentage points on average.
• Abstract（参考訳）: 科学的発見は、ドメイン知識と推論を通して解釈された正確な観察に基づいている。 科学的3Dデータには、タンパク質の接触から解剖学的組織に至るまで、構造と空間的関係を理解する必要がある。 既存のマルチモーダル・ベンチマークではテキストと2D画像が大半が評価され、科学的な3D評価は分野によって異なる。 これらの基礎的能力を評価するために、専門家レベルの視覚的質問応答(VQA)を通して科学的3次元理解と推論のためのクロスドメインベンチマークであるScienceVisionを紹介する。 バイオロジー, 化学, 医用イメージング, メカニカルCAD, アーキテクチャから50の質問を合成質問生成とドメインエキスパートレビューとアノテーションを組み合わせたパイプラインで構築する。 各タスクは、科学的な質問、特定の応答フォーマット、およびタスク固有の参照回答とネイティブな3Dアーティファクトをペアリングし、幾何学的または位相的証拠にドメイン知識を適用する必要がある。 エージェントハーネスのファイルとコード実行ツールを介してアクセスされたネイティブな3Dアーティファクトによる視覚的質問応答、モデルコンテキストプロトコル(MCP)を通して公開された専門家にインスパイアされたビューアインスペクションと測定ツールを付加したワークフロー、エージェントハーネスを用いた所定の2D画像からの視覚的質問応答の3つの設定で12のモデルを評価した。 すべての設定は、同じタスク固有の決定論的最終回答スコアを使用する。 検査環境は、ビューの変更、ターゲット分離、スライス検査をサポートする。 この主要な比較では、最良回答スコアは1.53点中0.53点である。 追加のMSPツールを持たないネイティブアーティファクトワークフローの平均スコアは、各モデルのレンダリングイメージワークフローの平均17.2%ポイントを超えている。

関連論文リスト

• BIABench: Evaluating AI agents on real-world bioimage analysis tasks [5.376819551968377]
  生物実験から再構成した16のタスクのベンチマークであるBIABenchを紹介する。 タスクは、H&Eヒストロジーから単一分子局在化顕微鏡まで、11のサブタスクとモダリティにまたがる。 複数の言語モデルにまたがる汎用エージェントと生物学特化エージェントを評価し,各タスクを反復的に実行した。
  論文  参考訳（メタデータ） (2026-09-28T04:22:51Z)
• SceneBench: A Hierarchical Benchmark for Vision-Language Understanding of 3D Scenes [12.672496253081258]
  視覚言語モデルは2次元画像理解において優れるが、3次元空間推論においては限定的である。 ガウススプラッティングで再構成した966枚のフォトリアリスティックな3DシーンのベンチマークであるSceneBenchを紹介する。 SceneBenchは、きめ細かい空間推論が可能なモデルの開発と評価のための現実的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-09-14T18:59:13Z)
• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)
• Feat2GS: Probing Visual Foundation Models with Gaussian Splatting [53.86049874165888]
  ビジュアルファウンデーションモデル(VFM)は、広範囲なデータセットでトレーニングされるが、2D画像に制限されることが多い。 画像から抽出したVFM特徴から3Dガウス特性を読み取るFeat2GSを紹介する。 我々は,複数のVFMの3次元認識を探索する広範囲な実験を行い,VFMの3次元認識に繋がる成分について検討した。
  論文  参考訳（メタデータ） (2024-12-12T18:59:28Z)
• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• Human-Object Interaction Detection:A Quick Survey and Examination of Methods [17.8805983491991]
  これは、この分野における最先端およびマイルストーンの研究に関する最初の一般的な調査である。 本稿では,人間と物体の相互作用検出の分野での展開に関する基礎的な調査を行う。 本稿では,HORCNNアーキテクチャを基礎研究として検討する。
  論文  参考訳（メタデータ） (2020-09-27T20:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。