論文の概要: Vision-Language Agents for Active Perception in Optics Laboratories

• arxiv url: http://arxiv.org/abs/2609.32918v1
• Date: Sat, 26 Sep 2026 20:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:57:42.051057
• Title: Vision-Language Agents for Active Perception in Optics Laboratories
• Title（参考訳）: 光学実験室における能動知覚のための視覚洗浄剤
• Abstract要約: 視覚言語モデル(VLM)は、科学研究にますます使われてきているが、視覚フィードバックから実験室実験を直接制御する能力は、まだ探索されていない。 実験用光学系をテストベッドとして, 一般用VLMがこのような閉ループ科学制御を行えるかを検討した。 タスク固有の自然言語指導が与えられた場合、VLMはアクチュエータと応答の関係を推定し、介入を通してあいまいな観察を解決し、信号が疎いときに積極的に視覚的フィードバックを生成できる。
• 参考スコア（独自算出の注目度）: 2.1294282254359613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly being used in scientific workflows, but their ability as agents to directly control laboratory experiments from visual feedback remains underexplored. This capability is important because many laboratory tasks do not naturally provide dense, pre-defined numerical objectives: informative signals can be sparse, intermittent, or visually ambiguous. A more general laboratory agent should instead be able to interpret visual observations, take actions to acquire useful feedback, and adapt its behavior based on the consequences of those actions. We study whether general-purpose VLMs can perform this kind of closed-loop scientific control using experimental optics as a testbed. We evaluate agents on three experimental systems that isolate distinct capabilities: a Michelson interferometer, a two-mirror cavity, and a four-mirror optical relay. The agents observe camera images, directly issue actuator and measurement commands, and retain their interaction history without receiving an engineered scalar objective during control. Across these experiments and matched simulations, we find that, given task-specific natural-language guidance, VLMs can estimate actuator-response relationships, resolve ambiguous observations through intervention, and actively create informative visual feedback when signals are sparse. These results suggest that pretrained multimodal models can serve as important decision-making agents within the experimental loop. Our work also establishes optics as a physically grounded testbed for visual reasoning and active perception in scientific agents.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、科学的なワークフローにおいてますます使われてきているが、視覚的なフィードバックから実験実験を直接制御するエージェントとしての能力は、まだ探索されていない。 この能力は、多くの実験室のタスクが自然に密に定義された数値的な目的を与えていないため重要である:情報的信号は疎く、断続的で、視覚的に曖昧である。 より一般的な実験員は、視覚的な観察を解釈し、有用なフィードバックを得るために行動を取り、それらの行動の結果に基づいて行動を調整することができるべきである。 実験用光学系をテストベッドとして, 一般用途のVLMがこのような閉ループ科学制御を行えるかを検討した。 我々は,ミッチェルソン干渉計,2ミラーキャビティ,4ミラー光リレーの3種類の実験システムにおけるエージェントの評価を行った。 エージェントは、カメラ画像を観察し、アクチュエータと測定コマンドを直接発行し、制御中にエンジニアリングされたスカラー目標を受信することなく、インタラクション履歴を保持する。 これらの実験と一致したシミュレーションにより, VLMは, タスク固有の自然言語指導によって, アクチュエータと応答関係を推定し, 介入によるあいまいな観察を解消し, 信号が疎いときに情報的視覚フィードバックを積極的に生成できることがわかった。 これらの結果は、事前訓練されたマルチモーダルモデルが実験ループ内で重要な意思決定エージェントとして機能することを示唆している。 我々の研究は、科学的エージェントの視覚的推論と能動的知覚のための物理的根拠のあるテストベッドとして光学も確立している。

関連論文リスト

• Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
  汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。 VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。 静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
  論文  参考訳（メタデータ） (2026-09-01T07:42:45Z)
• The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study [56.649987197786096]
  大規模言語モデル(LLM)は人間の行動のシミュレータとしての可能性を示している。 LLMは潜在ユーザ属性の意図しないシフトを誘発し、ユーザのドリフトを引き起こす。 ユーザのドリフトによって生じる不確実性や選択バイアスを形式化する。
  論文  参考訳（メタデータ） (2026-05-20T06:09:41Z)
• Sci-VLA: Agentic VLA Inference Plugin for Long-Horizon Tasks in Scientific Experiments [49.02509634515056]
  最近のビジョン言語アクションモデルは、ロボット研究所にとって有望な基盤を提供する。 実験は通常、複数の原子タスクからなる長い水平タスクを含む。 科学的なタスクのために微調整されたVLAモデルは、原子実験的なアクションを確実に実行することができるが、これらの既知の原子のアクションを再順序付けして構成することによって形成される複合的なタスクの実行に失敗することが多い。
  論文  参考訳（メタデータ） (2026-02-10T05:50:19Z)
• Data-centric Design of Learning-based Surgical Gaze Perception Models in Multi-Task Simulation [16.689550165317765]
  ロボットによる侵襲的最小侵襲手術(RMIS)では、触覚フィードバックと奥行きの手がかりが専門的な視覚的知覚に依存している。 本研究では,ダ・ヴィンチ・シムNowシミュレータ上で4つのドリルで収集した,アクティブ・パッシブ・マルチタスク・サーチ・ギャグ・データセットについて紹介する。 我々は、視線組織におけるスキルとモダリティに依存した差異を定量化し、手術監督のための受動的視線の置換性を評価する。
  論文  参考訳（メタデータ） (2026-02-09T22:52:59Z)
• IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
  内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。 大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。 本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
  論文  参考訳（メタデータ） (2026-02-08T12:28:29Z)
• I Spy With My Model's Eye: Visual Search as a Behavioural Test for MLLMs [3.5266549480163047]
  マルチモーダル大規模言語モデル(MLLM)は視覚言語タスクにおいて高い性能を達成するが、その視覚処理は不透明である。 従来の視覚探索のパラダイムを応用して,MLLMの視覚的特徴が乱れのセットサイズとは無関係に検出されるような,ポップアウト効果を示すかどうかを検証した。 高度なMLLMは、色や大きさに基づく解離性(単一特徴)探索や、接続性(複数特徴)探索の容量制限において人間的なポップアウト効果を示す。
  論文  参考訳（メタデータ） (2025-10-22T15:24:07Z)
• ExpVid: A Benchmark for Experiment Video Understanding & Reasoning [65.17173232816818]
  科学実験ビデオ上でMLLMを体系的に評価する最初のベンチマークであるExpVidを紹介する。 ExpVid 上で 19 個のMLLM を評価し, 粗粒度認識に優れる一方で, 詳細さの曖昧化, 時間経過による状態変化の追跡, 実験手順と科学的成果のリンクに苦慮していることがわかった。 この結果から,特に高次推論において,プロプライエタリモデルとオープンソースモデルとの顕著なパフォーマンスギャップが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-13T16:45:28Z)
• Autonomous Microscopy Experiments through Large Language Model Agents [4.241267255764773]
  大規模言語モデル(LLM)は、材料研究のための自己運転実験室(SDL)に革命をもたらしている。 LLM駆動エージェントによる原子間力顕微鏡の自動化フレームワークであるArtificially Intelligent Lab Assistant (AILA)を紹介する。 アートモデルの現状が,基本的なタスクや調整シナリオに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2024-12-18T09:35:28Z)
• Aligning an optical interferometer with beam divergence control and continuous action space [64.71260357476602]
  我々は1本の腕に共焦点望遠鏡を備えた光学的マッハ・ツェンダー干渉計の視覚に基づくアライメントを実装した。 実験的評価では、エージェントは、既存のソリューションと人間の専門家とを著しく上回る。
  論文  参考訳（メタデータ） (2021-07-09T14:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。