論文の概要: OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

• arxiv url: http://arxiv.org/abs/2610.26860v1
• Date: Mon, 19 Oct 2026 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:46:22.304655
• Title: OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory
• Title（参考訳）: OpenVLHarness:マルチモーダルメモリを用いた実世界のビジュアルエージェントツール
• Abstract要約: マルチモーダル大言語モデル (MLLM) は視覚的推論において急速に進歩している。 多くのタスクは、内部理性だけでは入手が難しい証拠を必要とする。 機能層と永続型マルチモーダルメモリを中心に構成されたマルチモーダル推論ハーネスであるOpenVLHarnessを紹介する。
• 参考スコア（独自算出の注目度）: 95.76490979359288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have made rapid progress on visual reasoning, yet many tasks require evidence that is difficult to obtain through internal reasoning alone: our controlled study on 22 benchmarks shows that simply increasing the inference budget of the base model yields only modest gains. Such tasks demand grounded perception, external knowledge, and numerical measurements obtained through heterogeneous tools, whose outputs must be made interpretable to the model and retained across reasoning steps. We introduce OpenVLHarness, a multimodal reasoning harness organized around a capability layer and persistent multimodal memory. The capability layer combines task-level tool interfaces with evidence rendering, providing consistent access to heterogeneous backends and converting their outputs into model-readable observations. Persistent multimodal memory retains the corresponding images, structured data, and web references as addressable artifacts throughout each query. A coding interface executes generated programs over stored data, enabling computations that combine results from multiple tools. Together, these mechanisms support an iterative process of acquiring, inspecting, and composing multimodal evidence. Evaluated on 22 benchmarks with eight open and proprietary backbones, OpenVLHarness improves average scores by 9.7-12.6 points over matched no-tool baselines, including +11.2 with Qwen3-VL-8B, +9.7 with Kimi K3, and +9.9 with GPT-6 Astra. With GPT-6 Luna at medium reasoning effort, OpenVLHarness outperforms the base model, Codex, and Visual Sketchpad at maximum effort by 7.7-8.5 points while incurring at most 37% of their model-token cost.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、視覚的推論において急速に進歩しているが、内部推論のみでは入手が困難である証拠を必要とするタスクが多い。 このようなタスクは、不均一なツールを通じて得られる認識、外部知識、数値測定を基礎として、その出力をモデルに解釈し、推論ステップを越えて保持する必要がある。 機能層と永続型マルチモーダルメモリを中心に構成されたマルチモーダル推論ハーネスであるOpenVLHarnessを紹介する。 機能層はタスクレベルのツールインターフェースとエビデンスレンダリングを組み合わせて、異種バックエンドへの一貫したアクセスを提供し、出力をモデル可読な観察に変換する。 永続マルチモーダルメモリは、対応する画像、構造化データ、およびWeb参照を、クエリ毎にアドレス可能なアーティファクトとして保持する。 コーディングインターフェースは、格納されたデータ上で生成されたプログラムを実行し、複数のツールの結果を組み合わせた計算を可能にする。 これらのメカニズムは、マルチモーダルな証拠を取得し、検査し、構成する反復的なプロセスをサポートする。 オープンでプロプライエタリな8つのバックボーンを持つ22のベンチマークで評価されたOpenVLHarnessは、Qwen3-VL-8Bで+11.2、Kim K3で+9.7、GPT-6 Astraで+9.9など、マッチしたノーツールベースラインで平均スコアを9.7-12.6向上させた。 GPT-6 ルナは中程度の推力で、OpenVLHarness はベースモデル、コーデックス、Visual Sketchpad を7.7-8.5 ポイント上回った。

関連論文リスト

• UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents [22.52508596251479]
  構築とデータセット生成から評価に至るまで,パイプライン全体を標準化するツール学習用統合フレームワークであるUniToolCallを提案する。 我々は、7つの公開ベンチマークを、関数呼び出し、ターン、会話のレベルできめ細かい評価を施した、クエリ-Action--Observation-Answer (QAOA) 表現に変換する。 Anchoror-Heavy Hybrid-20では、1ターンのStrict Precisionを93.0%達成し、GPT、Gemini、Claudeといった商用モデルを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T14:43:47Z)
• VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining [49.78591189918702]
  VisualToolChain-Bench (VTC-Bench)を導入し,マルチモーダル大言語モデル(MLLM)におけるツール使用の習熟度を評価する。 リアルなコンピュータビジョンパイプラインに合わせるために、我々のフレームワークは32種類のOpenCVベースの視覚操作を備えている。 正確な評価のために、9カテゴリの認知階層にまたがる680のキュレートされた問題を提示する。
  論文  参考訳（メタデータ） (2026-03-16T09:31:44Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。