論文の概要: Lightweight Structured Multimodal Reasoning for Clinical Scene Understanding in Robotics

• arxiv url: http://arxiv.org/abs/2509.22014v1
• Date: Fri, 26 Sep 2025 07:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.279105
• Title: Lightweight Structured Multimodal Reasoning for Clinical Scene Understanding in Robotics
• Title（参考訳）: ロボットにおける臨床シーン理解のための軽量構造型マルチモーダル推論
• Abstract要約: 映像に基づくシーン理解のための軽量なエージェント・マルチモーダル・フレームワークを提案する。 チェーンオブ思考の推論、音声ビジョンの融合、動的ツールの実行をサポートする。
• 参考スコア（独自算出の注目度）: 4.253383204461325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Healthcare robotics requires robust multimodal perception and reasoning to ensure safety in dynamic clinical environments. Current Vision-Language Models (VLMs) demonstrate strong general-purpose capabilities but remain limited in temporal reasoning, uncertainty estimation, and structured outputs needed for robotic planning. We present a lightweight agentic multimodal framework for video-based scene understanding. Combining the Qwen2.5-VL-3B-Instruct model with a SmolAgent-based orchestration layer, it supports chain-of-thought reasoning, speech-vision fusion, and dynamic tool invocation. The framework generates structured scene graphs and leverages a hybrid retrieval module for interpretable and adaptive reasoning. Evaluations on the Video-MME benchmark and a custom clinical dataset show competitive accuracy and improved robustness compared to state-of-the-art VLMs, demonstrating its potential for applications in robot-assisted surgery, patient monitoring, and decision support.
• Abstract（参考訳）: 医療ロボティクスは、動的臨床環境における安全性を確保するために、堅牢なマルチモーダル認識と推論を必要とする。 現在のビジョン・ランゲージ・モデル(VLM)は、強力な汎用能力を示すが、時間的推論、不確実性推定、ロボット計画に必要な構造化出力に制限されている。 映像に基づくシーン理解のための軽量なエージェント・マルチモーダル・フレームワークを提案する。 Qwen2.5-VL-3B-InstructモデルとSmolAgentベースのオーケストレーション層を組み合わせることで、チェーンオブ思考推論、音声ビジョンの融合、動的ツールの実行をサポートする。 このフレームワークは、構造化シーングラフを生成し、解釈可能な適応推論のためのハイブリッド検索モジュールを利用する。 Video-MMEベンチマークとカスタム臨床データセットの評価は、最先端のVLMと比較して、競争精度と堅牢性の向上を示し、ロボット支援手術、患者モニタリング、意思決定支援への応用の可能性を示している。

関連論文リスト

• Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
  CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。 コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。 BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-09-14T10:21:23Z)
• Volumetric Radiology AI in the Era of Multimodal Large Language Models [62.95443321443533]
  ボリュームラジオロジーは、基本的な表現ミスマッチを示します。 現在の大言語モデル(MLLM)は、選択された2次元(2次元)画像、圧縮された視覚表現、またはレポート由来のテキストに条件付けされている。 信頼性の高い放射線学 AIは、タスクに関連する3D情報と、これらの情報にアクセスし、検証し、統合できるシステムを保存する表現を必要とする。
  論文  参考訳（メタデータ） (2026-08-20T20:23:41Z)
• A Unified Benchmark for RCM-Constrained Visual Servoing: Modeling-Controller Interaction and Robustness Analysis in Laparoscopic Robots [8.534283053772247]
  ロボット補助下腹腔鏡下最小侵襲手術(MIS)では,リモートセンター・オブ・ムーブメント(RCM)の正確な実施が安全かつ安定したFoV調整に重要である。 本稿では、3つの代表的なRCMモデリング手法と6つのIBVSベースの制御アーキテクチャを統合したオープンソースのシミュレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-22T04:56:38Z)
• MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
  ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。 本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。 今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
  論文  参考訳（メタデータ） (2026-06-04T20:24:47Z)
• Research on Vision-Language Question Answering Models for Industrial Robots [6.470944338393257]
  産業ロボットにおける視覚言語質問応答(VLQA)の階層的相互モーダル融合モデルを提案する。 このフレームワークは、高度なオブジェクト検出、マルチスケールのビジュアルエンコーディング、構文解析、タスク認識セマンティックアテンションを統合し、視覚と言語信号を統合推論空間に統合する。
  論文  参考訳（メタデータ） (2026-05-02T15:11:48Z)
• Agentic AI for Personalized Physiotherapy: A Multi-Agent Framework for Generative Video Training and Real-Time Pose Correction [0.0]
  本稿では、生成AIとコンピュータビジョンを利用して、遠隔リハビリテーションループを閉じる新しいマルチエージェントシステム(MAS)アーキテクチャを提案する。 本稿では,システムアーキテクチャ,Large Language Models と MediaPipe を用いたプロトタイプパイプラインについて概説し,臨床評価計画を概説する。
  論文  参考訳（メタデータ） (2026-04-22T23:47:51Z)
• Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling [24.896312231457653]
  我々は、安全で透明な臨床AIの標準的デシプラタムに対処しながら、欠落したモダリティをプロファイルし、対処するためのフレームワークを開発する。 変換器ベースアーキテクチャを用いた自己回帰シーケンスモデリングはMIMIC-IVおよびeICUファインチューニングベンチマークのベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-20T18:55:56Z)
• From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
  Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。 CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。 以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-24T15:33:02Z)
• MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning [53.37068897861388]
  MedSAM-Agentは、対話的なセグメンテーションを多段階の自律的な意思決定プロセスとして再構築するフレームワークである。 マルチターン・エンド・ツー・エンドの成果検証を統合した2段階のトレーニングパイプラインを開発した。 6つの医療モダリティと21のデータセットにわたる実験は、MedSAM-Agentが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-02-03T09:47:49Z)
• VICoT-Agent: A Vision-Interleaved Chain-of-Thought Framework for Interpretable Multimodal Reasoning and Scalable Remote Sensing Analysis [10.584087870930354]
  新たなマルチモーダルエージェントフレームワークVision-Interleaved Chain-of-Thought Framework (VICoT)を提案する。 VICoTは、視覚ツールを思考の連鎖に動的に組み込むことにより、明示的な多ラウンド推論を実装している。 また, 複雑なエージェントの挙動を小型軽量モデルに移行するためのReasoning Stack蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-11-25T09:00:28Z)
• Med-K2N: Flexible K-to-N Modality Translation for Medical Image Synthesis [13.589690091116802]
  クロスモーダルな医用画像合成研究は、臨床診断を支援するために利用可能な画像から欠落した画像のモダリティを再構築することに焦点を当てている。 様々な目的タスクに対する異なるモダリティの不均一な寄与をモデル化するにはどうすればよいか? マルチアウトプット生成におけるモーダリティアイデンティティの整合性を維持するには?
  論文  参考訳（メタデータ） (2025-10-03T08:47:17Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Baichuan-M2: Scaling Medical Capability with Large Verifier System [40.86227022086866]
  静的解答検証を超越した,新しい動的検証フレームワークを提案する。 多段階強化学習戦略によって訓練された医療強化推論モデルBaichuan-M2を開発した。 HealthBenchでの評価では、Baichuan-M2は、他のすべてのオープンソースモデルや、最も高度なクローズドソースモデルよりも優れています。
  論文  参考訳（メタデータ） (2025-09-02T11:23:35Z)
• Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
  本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。 USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
  論文  参考訳（メタデータ） (2025-08-18T02:42:16Z)
• MetAdv: A Unified and Interactive Adversarial Testing Platform for Autonomous Driving [63.875372281596576]
  MetAdvは、現実的でダイナミックでインタラクティブな評価を可能にする、新しい対向テストプラットフォームである。 フレキシブルな3D車両モデリングと、シミュレートされた環境と物理的環境のシームレスな遷移をサポートする。 生理的信号のリアルタイムキャプチャとドライバからの行動フィードバックを可能にする。
  論文  参考訳（メタデータ） (2025-08-04T03:07:54Z)
• AURA: A Multi-Modal Medical Agent for Understanding, Reasoning & Annotation [0.8397730500554048]
  AURAは、医用画像の包括的分析、説明、評価のために特別に設計された最初の視覚的言語説明性エージェントである。 AURAは、より透明性があり、適応可能で、臨床的に整合したAIシステムに向けた大きな進歩を示している。
  論文  参考訳（メタデータ） (2025-07-22T18:24:18Z)
• MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
  我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。 我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。 我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
  論文  参考訳（メタデータ） (2024-10-21T17:42:41Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Extending Process Discovery with Model Complexity Optimization and Cyclic States Identification: Application to Healthcare Processes [62.997667081978825]
  モデル最適化のための半自動支援を実現するプロセスマイニング手法を提案する。 所望の粒度で生モデルを抽象化するモデル単純化手法が提案されている。 医療分野の異なるアプリケーションから得られた3つのデータセットを用いて、技術的ソリューションの能力を実証することを目的としている。
  論文  参考訳（メタデータ） (2022-06-10T16:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。