論文の概要: ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.16131v1
• Date: Fri, 17 Jul 2026 17:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.915167
• Title: ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning
• Title（参考訳）: ToolSciVer: ビジュアルツール強化強化学習によるマルチモーダルな科学的主張の検証
• Abstract要約: マルチモーダル・サイエンティフィック・クレーム・検証 (MSCV) は、科学的クレームを検証するためのモデルを必要とする。 私たちは、MSCVのための最初のツール拡張フレームワークであるToolSciVerを紹介します。
• 参考スコア（独自算出の注目度）: 17.714177860379436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Scientific Claim Verification (MSCV) requires models to verify scientific claims using visually grounded evidence from papers, including figures, tables, charts, and textual context. However, existing methods often fail because they struggle to locate decisive visual evidence, accurately read structured scientific visuals, and integrate multimodal observations into reliable reasoning. We introduce ToolSciVer, the first tool-augmented framework for MSCV to our knowledge. ToolSciVer equips a VLM with three type-aware visual tools, table row/column focus, chart-to-structure parsing, and high-resolution region zoom, which convert dense scientific visuals into explicit, claim-facing evidence, and trains the policy with Group Relative Policy Optimization (GRPO) under a composite reward of answer correctness, format validity, length control, tool-use efficiency, and tool-validity penalties. Experiments on SciVer and MuSciClaims datasets on five VLMs from three model families (Qwen, InternVL, Gemma) demonstrate that our method achieves superior performance compared to four competitive baselines including prompting-based and RL-based tool-use methods, highlighting the effectiveness of learned, type-aware tool use for scientific claim verification.
• Abstract（参考訳）: マルチモーダル・サイエンティフィック・クレーム・検証 (MSCV) は、図、表、チャート、テキストの文脈を含む論文から、視覚的に根拠付けられた証拠を用いて科学的クレームを検証するモデルを必要とする。 しかし、既存の手法は、決定的な視覚的証拠を見つけるのに苦労し、構造化された科学的な視覚を正確に読み、信頼性のある推論にマルチモーダルな観察を統合するため、しばしば失敗する。 私たちは、MSCVのための最初のツール拡張フレームワークであるToolSciVerを紹介します。 ToolSciVerは、VLMに3つのタイプ対応ビジュアルツール、テーブル行/カラムフォーカス、チャートから構造へのパーシング、高解像度の領域ズームを備えており、これは、密集した科学的ビジュアルを明示的で主張に満ちた証拠に変換し、回答の正当性、フォーマットの妥当性、長さ制御、ツール使用効率、ツール有効性といった複合的な報酬の下で、グループ相対ポリシー最適化(GRPO)でポリシーを訓練する。 SciVer と MuSciClaims の 3 つのモデルファミリー (Qwen, InternVL, Gemma) から得られた 5 つの VLM データセットに対する実験により,本手法が4 つの競争基盤線よりも優れていることを示す。

関連論文リスト

• OpenVisTool: An Open Recipe for Synthesizing Instructive Visual Tool-Use Trajectories [44.795764429083114]
  OpenVisToolは、視覚的ツール使用軌跡を構築するためのオープンなフレームワークである。 このフレームワークは、ツールなしでは確実に答えられないクエリを選択するのが難しいこと、ドメイン固有の軌道合成、そして監督検証の3段階で機能する。 このフレームワークを用いて、5つの視覚的推論領域にまたがるデータセットであるOpenVisTool-42Kと、同じドメインをカバーするベンチマークであるOpenVisTool-Benchを構築した。
  論文  参考訳（メタデータ） (2026-08-09T08:01:05Z)
• IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents [12.019312046941396]
  本稿では,小言語モデル(SLM)におけるツールコール能力向上のための強化学習法について検討する。 入力成分間の帰属関係をより強力な教師の帰属関係と整合させることにより,マルチモーダルSLMにおけるツール利用を改善するためのRLアルゴリズムであるIAPOを提案する。 Qwen2.5-VL-3B実験の結果,提案手法は既存の視覚ツールの使用状況と比較して,6つのテストセットの平均3%の視覚的質問応答精度を向上させる。
  論文  参考訳（メタデータ） (2026-06-10T04:30:37Z)
• Innovator-VL: A Multimodal Large Language Model for Scientific Discovery [84.15264653078826]
  Innovator-VLは、様々な科学的分野の理解と推論を促進するために設計された、科学的多モーダルな大規模言語モデルである。 原理的なトレーニング設計と透過的な方法論により,データ要求を大幅に削減した強力な科学的知性が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-27T08:12:18Z)
• Reinforced Visual Perception with Tools [66.79840157663237]
  本稿では,GRPOに基づく新しいRLアルゴリズムを提案する。 本手法は,複数の知覚重度ベンチマークにおいて,最先端の性能を実現する。 我々のReVPT-3BとReVPT-7BはCV-Benchでインストラクションモデルを9.03%、9.44%上回っている。
  論文  参考訳（メタデータ） (2025-09-01T17:57:49Z)
• VisualToolAgent (VisTA): A Reinforcement Learning Framework for Visual Tool Selection [47.259066449806866]
  VisTAは新しい強化学習フレームワークで、視覚エージェントが経験的パフォーマンスに基づいた多様なライブラリのツールを動的に探索し、選択し、組み合わせることを可能にする。 トレーニング不要のベースラインよりも,VisTAが大幅なパフォーマンス向上を実現していることを示す。 これらの結果は、VisTAが一般化を強化し、多様なツールを適応的に活用し、柔軟な経験駆動型視覚推論システムを実現する能力を強調している。
  論文  参考訳（メタデータ） (2025-05-26T17:59:17Z)
• Scaling Large Vision-Language Models for Enhanced Multimodal Comprehension In Biomedical Image Analysis [0.1984949535188529]
  ビジョン言語モデル(VLM)は、画像処理のための事前訓練されたビジョンバックボーンと、クロスモーダルプロジェクタを組み込むことによって、この問題に対処する。 低線量放射線治療におけるマルチモーダル理解を高めるため,LLaVAモデルから微調整されたインテリジェントアシスタントを開発した。
  論文  参考訳（メタデータ） (2025-01-26T02:48:01Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)
• Mitigating Hallucination in Large Multi-Modal Models via Robust Instruction Tuning [92.85265959892115]
  本稿では,Large-scale Robust Visual (LRV)-Instructionという,大規模かつ多様な視覚的インストラクションチューニングデータセットを紹介する。 本データセットは, GPT4が生成した400kの視覚的命令からなり, 16の視覚・言語的タスクをオープンエンドの指示と回答でカバーする。 LMMが生み出す幻覚を効果的に測定するために,人間の専門家による視覚指導のチューニングを安定的に評価するためのGAVIE(GPT4-Assisted Visual Instruction Evaluation)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T10:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。