論文の概要: Spatial Action Review: A Visual Analytics Dashboard for Auditing Language-to-Action Hand-offs in Electron Microscopy

• arxiv url: http://arxiv.org/abs/2609.24470v1
• Date: Mon, 21 Sep 2026 12:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.276688
• Title: Spatial Action Review: A Visual Analytics Dashboard for Auditing Language-to-Action Hand-offs in Electron Microscopy
• Title（参考訳）: 空間行動レビュー:電子顕微鏡における言語間ハンドオフの視聴のためのビジュアルアナリティクスダッシュボード
• Abstract要約: 空間行動レビュー(Spatial Action Review)は、電子顕微鏡(EM)ミトコンドリア分析において、この障害モードを監査するための視覚分析ダッシュボードである。 ペア化された回答アクションレコードを、回答アクション台帳、タスク・バイ・データセットのリスクマップ、イメージ・リージョンの監査ビューを通じてリンクする。 レビューは人間とAIのハンドオフで終了し、スーパーバイザーは、アクションが受け入れられるか、エスカレーションされ、より厳格なゲートの下で保持されるか、またはモデルリビジョンのためにフラグ付けされるかを記録します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) are increasingly explored as interfaces for scientific image analysis, where a visual question-answering (VQA) response may be paired with a spatial output that guides a downstream stage. A supervisor reads the language answer, while a downstream workflow such as segmentation or region review consumes the point-set output. We call this transition from inspecting the answer to relying on its point action the language-to-action hand-off. A silent failure occurs when the answer is correct while the paired action misses annotated objects needed downstream, so answer-based oversight clears a region whose action is unreliable. We introduce Spatial Action Review, a visual analytics dashboard for auditing this failure mode in electron microscopy (EM) mitochondria analysis. It links paired answer-action records through an answer-action ledger, a task-by-dataset risk map, and an image-region audit view, connecting aggregate patterns to image evidence while an adjustable action-reliability gate supports re-audit. The review ends in a human-AI hand-off, where a supervisor records whether the action is accepted, escalated, held under a stricter gate, or flagged for model revision. Across 541 image regions from an EM-adapted Qwen3-VL case-study run, point actions fail the gate in 54.4% of records with a correct VQA response, and 27.4% of all records are silent failures. A correct answer is associated with only a 5.8-percentage-point higher probability of a reliable action, with a bootstrap interval spanning zero; the point-biserial correlation between answer correctness and object coverage is 0.061. This weak coupling persists across five model conditions on 753 matched image regions. Spatial Action Review makes answer-action mismatches visible and ties them to image evidence and a recorded decision before MLLM outputs enter autonomous scientific workflows.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は、視覚的質問応答 (VQA) と、下流のステージを案内する空間出力とをペアにできる科学画像解析のためのインタフェースとして、ますます研究されている。 スーパーバイザは言語回答を読み、セグメンテーションやリージョンレビューのような下流ワークフローはポイントセット出力を消費する。 私たちはこの移行を、答えを検査することから、そのポイントアクションに依存する言語対アクションのハンドオフへと呼びます。 応答が正しいときにサイレント障害が発生し、ペア化されたアクションは下流で必要とされる注釈付けされたオブジェクトを見逃してしまうため、応答ベースの監視は、アクションが信頼できない領域をクリアする。 本研究では、この障害モードを電子顕微鏡(EM)ミトコンドリア分析で監査するための視覚分析ダッシュボードであるSpatial Action Reviewを紹介する。 回答-アクション台帳、タスク・バイ・データセット・リスクマップ、画像領域監査ビューを通じて、ペア化された回答-アクション記録をリンクし、集約パターンを画像証拠に接続し、調整可能なアクション-信頼性ゲートが再監査をサポートする。 レビューは人間とAIのハンドオフで終了し、スーパーバイザーは、アクションが受け入れられるか、エスカレーションされ、より厳格なゲートの下で保持されるか、またはモデルリビジョンのためにフラグ付けされるかを記録します。 EMに適応したQwen3-VLのケーススタディランからの54.4%の画像領域は、正しいVQA応答を持つレコードの54.4%で、全てのレコードの27.4%はサイレント障害である。 正解は、信頼動作の5.8ポイント高い確率にのみ関連付けられ、ブートストラップ間隔が0にまたがる。 この弱い結合は753のマッチング画像領域上の5つのモデル条件で持続する。 空間行動レビュー(Spatial Action Review)は、回答アクションのミスマッチを可視化し、MLLMの出力が自律的な科学ワークフローに入る前に、証拠の画像と記録された決定に結び付ける。

関連論文リスト

• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• Learning to Look Again: Loss-Gap Supervision for Free-form Crop Routing in Vision-Language Models [9.530053392873178]
  視覚言語モデル(VLM)は、具体的な理由から多くの詳細中心の質問に失敗する。 より視覚的なトークンをクエリ毎に割り当てることによって、OCRやドキュメントケースが改善されるが、非差別的に費やされ、グローバルなコンテキストに依存するタスクを邪魔する可能性がある。 本稿では,視覚的再読解学習のためのフレームワークであるGapSightを提案する。
  論文  参考訳（メタデータ） (2026-08-22T04:10:28Z)
• The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images [19.417504594148223]
  思考と想像」操作は、トークンコストがかなり高い直接推論よりも限界あるいは負の利得しか達成しないことが多い。 返却された視覚的証拠が答えに因果関係があるかどうかを問う。 我々は、視覚ツールの使用を因果グラフとして使用し、観察による経路と行動によるショートカットを分離する。
  論文  参考訳（メタデータ） (2026-08-06T17:01:08Z)
• SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
  SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。 正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。 変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
  論文  参考訳（メタデータ） (2026-08-04T13:16:15Z)
• The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs [21.905558014939327]
  視覚言語モデル(VLM)は、依然として基本的なオブジェクトカウントに苦戦している。 内部知識の欠如や内部表現と言語出力のギャップを反映しているかどうかを考察する。 本研究では,内部誤差検出器が故障を予測した場合のみモデルを選択的に再起動する自己補正法を提案する。
  論文  参考訳（メタデータ） (2026-07-10T15:50:54Z)
• REFLECT: Intervention-Supported Error Attribution for Silent Failures in LLM Agent Traces [10.98846592145896]
  大規模言語モデル(LLM)エージェントは、長いプラン・アンド・エグゼクティブトレースを通じて複雑なタスクを解決するが、完了したトレース内のエラーを見つける能力はまだ遅れている。 本稿では,このギャップを解消する手法として,候補となるエラーステップの診断,診断固有のパッチによるリプレイによるテスト,および検証結果のフリップを比較的証拠として用いて最終帰属を洗練させる手法を提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:11:57Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Trust but Verify: Programmatic VLM Evaluation in the Wild [62.14071929143684]
  プログラム型VLM評価(Programmatic VLM Evaluation、PROVE)は、オープンなクエリに対するVLM応答を評価するための新しいベンチマークパラダイムである。 我々は,PROVE上でのVLMの有効性-実効性トレードオフをベンチマークした結果,両者のバランスが良好であることは極めて少ないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T01:19:18Z)
• See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
  この課題を解決するために,LMMのカスケードと共同学習手法を提案する。 得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
  論文  参考訳（メタデータ） (2023-12-13T18:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。