論文の概要: Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2510.01304v1
• Date: Wed, 01 Oct 2025 17:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.804633
• Title: Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける視覚知覚と推論の促進のためのエージェントJigsawインタラクション学習
• Authors: Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao,
• Abstract要約: AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
• 参考スコア（独自算出の注目度）: 63.69856480318313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although current large Vision-Language Models (VLMs) have advanced in multimodal understanding and reasoning, their fundamental perceptual and reasoning abilities remain limited. Specifically, even on simple jigsaw tasks, existing VLMs perform near randomly, revealing deficiencies in core perception and reasoning capabilities. While high-quality vision-language data can enhance these capabilities, its scarcity and limited scalability impose significant constraints. To address this, we propose AGILE, an Agentic jiGsaw Interaction Learning for Enhancing visual perception and reasoning in VLMs. AGILE formulates jigsaw solving as an interactive process, enabling the model to progressively engage with the environment. At each step, the model generates executable code to perform an action based on the current state, while the environment provides fine-grained visual feedback to guide task completion. Through this iterative cycle of observation and interaction, the model incrementally improves its perceptual and reasoning capabilities via exploration and feedback. Experimental results show that AGILE not only substantially boosts performance on jigsaw tasks of varying complexity (e.g., increasing accuracy from 9.5% to 82.8% under the 2 $\times$ 2 setting) but also demonstrates strong generalization across 9 general vision tasks, achieving an average improvement of 3.1%. These results indicate notable enhancements in both perceptual and reasoning abilities. This work opens a new avenue for advancing reasoning and generalization in multimodal models and provides an efficient, scalable solution to the scarcity of multimodal reinforcement learning data. The code and datasets is available at https://github.com/yuzeng0-0/AGILE .
• Abstract（参考訳）: 現在の大規模視覚言語モデル(VLM)は多モーダル理解と推論において進歩しているが、その基本的な知覚と推論能力は限られている。 具体的には、単純なジグソータスクであっても、既存のVLMはほとんどランダムに動作し、コア認識と推論能力の欠如を明らかにする。 高品質の視覚言語データによってこれらの能力は強化されるが、その不足とスケーラビリティの制限は重大な制約を課している。 本稿では,VLMにおける視覚知覚と推論の促進を目的としたエージェントジグソーインタラクション学習であるAGILEを提案する。 AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 各ステップでモデルが実行可能コードを生成し、現在の状態に基づいてアクションを実行し、環境がタスク完了をガイドするためのきめ細かい視覚的フィードバックを提供する。 この反復的な観察と相互作用のサイクルを通じて、モデルは探索とフィードバックを通じて知覚と推論能力を漸進的に改善する。 実験の結果、AGILEはジグソータスクの性能を大幅に向上させるだけでなく(例えば、9.5%から82.8%の精度を2$\times$2設定で向上させる)、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現している。 これらの結果から,知覚能力と推論能力の両方が顕著に向上したことが示唆された。 この研究は、マルチモーダルモデルの推論と一般化を進めるための新たな道を開き、マルチモーダル強化学習データの不足に対する効率的でスケーラブルなソリューションを提供する。 コードとデータセットはhttps://github.com/yuzeng0-0/AGILE で公開されている。

関連論文リスト

• Learning Active Perception via Self-Evolving Preference Optimization for GUI Grounding [31.57375084036447]
  視覚言語モデル(VLM)は近年,視覚知覚と言語推論の橋渡しにおいて大きな進歩を遂げている。 マルチステップ認識機能を持つVLMを段階的に支援する自己進化型フレームワークであるLASERを提案する。 提案手法はモンテカルロの品質評価とインターセクション・オーバー・ユニオン(IoU)に基づく地域品質評価を統合し,高品質な嗜好データ構築における精度と多様性を両立させる。
  論文  参考訳（メタデータ） (2025-09-04T14:17:01Z)
• Simple o3: Towards Interleaved Vision-Language Reasoning [38.46230601239066]
  我々は、動的ツールインタラクションをインターリーブされた視覚言語推論に統合する、エンドツーエンドのフレームワークであるSimple o3を提案する。 提案手法は,高品質な視覚言語推論チェーンを生成するスケーラブルなデータ合成パイプラインを特徴とする。 実験の結果、Simple o3は様々なベンチマークで優れたパフォーマンスを示し、既存のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2025-08-16T17:15:39Z)
• Caption This, Reason That: VLMs Caught in the Middle [3.4820139118440676]
  VLM(Vision-Language Models)は近年,視覚的理解の進歩を目覚ましいものにしている。 カウントやリレーショナル推論といった視覚的なタスクでは、人間の能力が遅れている。 認識,注意,記憶など,コア認知軸に沿ったVLMのパフォーマンスを解析する。
  論文  参考訳（メタデータ） (2025-05-24T14:25:48Z)
• VLM-R1: A Stable and Generalizable R1-style Large Vision-Language Model [29.524164786422368]
  最近、DeepSeek R1は、強化学習が大規模言語モデル(LLM)の推論能力を大幅に改善できることを示した。 視覚言語モデル(VLM)へのR1型強化学習の拡張について検討する。 VLM-R1 は,汎用視覚言語タスクにおける VLM の性能向上のために RL を利用した専用フレームワークである。
  論文  参考訳（メタデータ） (2025-04-10T10:05:15Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning [79.38140606606126]
  強化学習(RL)を用いた視覚言語モデル(VLM)を微調整するアルゴリズムフレームワークを提案する。 我々のフレームワークはタスク記述を提供し、次にVLMにチェーン・オブ・シント(CoT)推論を生成するよう促す。 提案手法は,VLMエージェントの様々なタスクにおける意思決定能力を向上させる。
  論文  参考訳（メタデータ） (2024-05-16T17:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。