論文の概要: Multi-Agent Debate and Visual Information Extraction for SeePhys Pro: A 1st-Place Technical Report from ICML 2026 AI4Math Track 3 Challenge
- arxiv url: http://arxiv.org/abs/2607.21946v1
- Date: Fri, 24 Jul 2026 03:44:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.039663
- Title: Multi-Agent Debate and Visual Information Extraction for SeePhys Pro: A 1st-Place Technical Report from ICML 2026 AI4Math Track 3 Challenge
- Title（参考訳）: SeePhys Proのマルチエージェント議論とビジュアル情報抽出:ICML 2026 AI4Math Track 3 Challengeの第1回テクニカルレポート
- Abstract要約: 本稿では,第3回AI for Math WorkshopにおけるChallenge Track3: SeePhys Proへのアプローチを紹介する。
課題は、学生レベルの物理学の質問に答えることであり、その言葉と数字は部分的に、あるいは全体像として与えられるかもしれない。
本研究は,図形コンテンツをソルバ可読テキストとして再表現する視覚情報抽出段階と,異種3つのソルバを編成する推論段階である。
- 参考スコア（独自算出の注目度）: 26.80223000446421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This technical report presents our approach to Challenge Track~3: SeePhys Pro at the 3rd AI for Math Workshop, where the task is to answer college-level physics questions whose statement and figure may be given partly or entirely as an image. Visual physics problems become substantially harder for large language models when the decisive information resides in a figure rather than in the text, and this modality gap widens as more of the problem migrates into the image. We address the task with a two-stage framework: a visual information extraction stage that re-expresses figure content as solver-readable text to close the modality gap, and a reasoning stage that orchestrates three heterogeneous solvers through multi-agent debate. Our analysis yields two findings: the gain from orchestration comes from reliable answer selection rather than from additional debate, and the value of a figure aid scales with how much of the problem is locked inside the image. The resulting pipeline improves overall accuracy over a single-agent baseline from 0.643 to 0.802 on the public split, and won 1st place on both the public and the private leaderboard (private overall 0.743).
- Abstract（参考訳）: この技術的レポートは、第3回AI for Math WorkshopのSeeePhys Proで、大学レベルの物理学的疑問に答えることを目的としています。
視覚物理学の問題は、決定的な情報がテキストではなく図の中に存在する場合、大きな言語モデルでは著しく難しくなり、このモダリティギャップは、問題がより多くの画像に移行するにつれて拡大する。
視覚情報抽出段階は、図形コンテンツをソルバ可読テキストとして再表現し、モダリティギャップを埋めるものであり、マルチエージェントの議論を通じて3つの異種問題解決者を編成する推論段階である。
私たちの分析では、さらなる議論ではなく、信頼性の高い回答の選択によるオーケストレーションのメリットと、画像内の問題がどのようにロックされているかによって、フィギュアアシストの価値がスケールする、という2つの結果が得られています。
その結果、単一エージェントのベースラインを0.643から0.802に分割し、パブリックとプライベートの両方で1位を獲得した(総合0.743)。
関連論文リスト
- PaperBanana-Interact: Scientific Diagram Refinement with Multi-Turn Human Feedback [101.62446136707372]
ユーザ要求3,518の注釈付き292個の画像を含むマルチターンダイアグラム生成のためのベンチマークを提案する。
PaperBananaBenchは不満足な要件を特定し、kを自然言語のフィードバックに変換する。
本稿では,内部の批判と修正のループを通じて図を洗練するマルチエージェントシステムPaperBanana-Interactを紹介する。
論文 参考訳（メタデータ） (2026-08-31T04:52:32Z) - PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems? [3.7188197739781903]
PhysEliteはオリンピアードレベルの物理推論のための大規模なバイリンガルベンチマークである。
各問題に対して、対応する視覚図、ステップバイステップのバイリンガルな中国語-英語の解の導出、そして最終回答を提供する。
我々は18個のオープンソースおよびクローズドソースMLLMをベンチマークし、最強モデルでさえ33.7%の正解精度しか得られないことを発見した。
論文 参考訳（メタデータ） (2026-08-25T19:48:42Z) - NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Professional Image Quality Assessment (Track 1) [115.35873876159131]
NTIRE 2026 Challenge on the 3rd Restore Any Image Model in the Wildについて概説する。
この挑戦には200近い登録と2500以上の応募が集まった。
トップパフォーマンスの手法は、プロのIQAにおける芸術の状態を著しく向上させた。
論文 参考訳（メタデータ） (2026-04-14T09:44:35Z) - MathGen: Revealing the Illusion of Mathematical Competence through Text-to-Image Generation [37.74857807039394]
7つのコアドメインにまたがる900の問題のベンチマークであるMathGenを紹介します。
最高のクローズドソースモデルでさえ、全体的な精度はわずか42.0%である。
全体として、現在のT2Iモデルは、基本的な数学的視覚生成にも適していない。
論文 参考訳（メタデータ） (2026-03-30T02:22:35Z) - InSight-o3: Empowering Multimodal Foundation Models with Generalized Visual Search [48.79494320593913]
O3-Benchは、視覚的詳細に注意を払ってマルチモーダル推論を評価するために設計された新しいベンチマークである。
O3-Benchは、エージェントが複数のステップの推論を通じて、異なる画像領域から微妙な視覚情報をまとめることを必要とする、困難な問題を特徴としている。
視覚推論エージェント(vReasoner)と視覚検索エージェント(vSearcher)からなるマルチエージェントフレームワークであるInSight-o3を提案する。
論文 参考訳（メタデータ） (2025-12-21T14:23:07Z) - Multimodal Reasoning for Science: Technical Report and 1st Place Solution to the ICML 2025 SeePhys Challenge [13.14311042732615]
視覚的・テキスト的モダリティを効果的に橋渡しするキャプション支援推論フレームワークを提案する。
我々のアプローチは、ICML 2025 AI for Math Workshop & Challenge 2: SeePhysで1位を獲得し、その有効性と堅牢性を強調しました。
論文 参考訳（メタデータ） (2025-09-07T14:47:32Z) - ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models [48.99485386990197]
視覚的推論によってのみ解決可能な合成データセットを用いてケーススタディを行う。
次に、1,162人の専門家が注釈を付けた質問を含む新しいチャート質問回答(QA)ベンチマークであるChartMuseumを紹介します。
人間は93%の精度を達成しているが、最高のパフォーマンスモデルであるGemini-2.5-Proは63.0%しか達成できず、主要なオープンソースであるLVLM Qwen2.5-VL-72B-Instructは38.5%しか達成していない。
論文 参考訳（メタデータ） (2025-05-19T17:59:27Z) - Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。
まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。
第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:55:01Z) - Self-Imagine: Effective Unimodal Reasoning with Multimodal Models using
Self-Imagination [40.83905569501714]
我々は、単一の視覚言語モデル(VLM)を利用して、HTMLを用いて質問の構造化表現を生成し、次にHTMLを画像として描画し、最後に同じVLMを使用して質問と画像の両方を用いて質問に答える。
我々は,3つの数学タスクと9つの汎用推論タスクに対して,最新式 (LLAVA-1.5 と GEMINI PRO) VLM を用いて評価を行った。
論文 参考訳（メタデータ） (2024-01-16T00:46:29Z) - More Robots are Coming: Large Multimodal Models (ChatGPT) can Solve
Visually Diverse Images of Parsons Problems [0.4660328753262075]
視覚的代入に基づく2つの大規模マルチモーダルモデルの性能評価を行った。
GPT-4Vはこれらの視覚的問題の96.7%を解決し、1つのパーソンズの問題を最小限に解決した。
バードは69.2%の問題を解き、幻覚や拒絶といった一般的な問題に悩まされた。
論文 参考訳（メタデータ） (2023-11-03T14:47:17Z) - PV2TEA: Patching Visual Modality to Textual-Established Information
Extraction [59.76117533540496]
我々は、その視覚的モダリティをテキスト化された属性情報抽出器にパッチする。
PV2TEAは3つのバイアス低減方式を備えたエンコーダデコーダアーキテクチャである。
実世界のeコマースデータセットに関する実証的な結果は、絶対値11.74%(相対値20.97%)のF1の増加を示す。
論文 参考訳（メタデータ） (2023-06-01T05:39:45Z) - MERLOT: Multimodal Neural Script Knowledge Models [74.05631672657452]
我々はMERLOTを紹介した。MERLOTは、翻訳された音声で何百万ものYouTubeビデオを視聴することで、マルチモーダルなスクリプト知識を学習するモデルである。
MERLOTは、時間的コモンセンスの強力なアウトオブボックス表現を示し、12の異なるビデオQAデータセット上で最先端のパフォーマンスを達成する。
Visual Commonsense Reasoning では、MERLOT が80.6%の精度で正解し、同じ大きさの最先端のモデルを3%以上上回っている。
論文 参考訳（メタデータ） (2021-06-04T17:57:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。