論文の概要: Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains
- arxiv url: http://arxiv.org/abs/2602.13235v1
- Date: Thu, 29 Jan 2026 14:44:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-23 12:01:13.572971
- Title: Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains
- Title（参考訳）: Lang2Act: 自己組織化言語ツールチェーンによる細粒度ビジュアル推論
- Abstract要約: VLM(Vision-Language Models)を付加したVRAG
既存のVRAGフレームワークは通常、VLMの知覚能力を拡張するために、厳格で事前定義された外部ツールに依存している。
本稿では,自己創発型言語ツールチェーンによる視覚の微粒化と推論を可能にするLang2Actを提案する。
- 参考スコア（独自算出の注目度）: 28.974013317548664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual Retrieval-Augmented Generation (VRAG) enhances Vision-Language Models (VLMs) by incorporating external visual documents to address a given query. Existing VRAG frameworks usually depend on rigid, pre-defined external tools to extend the perceptual capabilities of VLMs, typically by explicitly separating visual perception from subsequent reasoning processes. However, this decoupled design can lead to unnecessary loss of visual information, particularly when image-based operations such as cropping are applied. In this paper, we propose Lang2Act, which enables fine-grained visual perception and reasoning through self-emergent linguistic toolchains. Rather than invoking fixed external engines, Lang2Act collects self-emergent actions as linguistic tools and leverages them to enhance the visual perception capabilities of VLMs. To support this mechanism, we design a two-stage Reinforcement Learning (RL)-based training framework. Specifically, the first stage optimizes VLMs to self-explore high-quality actions for constructing a reusable linguistic toolbox, and the second stage further optimizes VLMs to exploit these linguistic tools for downstream reasoning effectively. Experimental results demonstrate the effectiveness of Lang2Act in substantially enhancing the visual perception capabilities of VLMs, achieving performance improvements of over 4%. All code and data are available at https://github.com/NEUIR/Lang2Act.
- Abstract（参考訳）: Visual Retrieval-Augmented Generation (VRAG)は、あるクエリに対処するために外部のビジュアルドキュメントを組み込むことで、ビジョンランゲージモデル(VLM)を強化する。
既存のVRAGフレームワークは通常、VLMの知覚能力を拡張するために、厳密で事前定義された外部ツールに依存している。
しかし、この分離された設計は、特に収穫などの画像に基づく操作を施した場合、視覚情報の不要な損失につながる可能性がある。
本稿では,Lang2Actを提案する。Lang2Actは,自己創発型言語ツールチェーンを介し,きめ細かな視覚知覚と推論を可能にする。
固定された外部エンジンを呼び出すのではなく、Lang2Actは言語ツールとして自己創発的なアクションを収集し、VLMの視覚的知覚能力を高めるためにそれらを活用する。
このメカニズムをサポートするために、我々は2段階強化学習(RL)ベースのトレーニングフレームワークを設計する。
具体的には、第1段階はVLMを最適化し、再利用可能な言語ツールボックスを構築するための高品質なアクションを自己探索し、第2段階はさらにVLMを最適化し、これらの言語ツールを下流の推論に効果的に活用する。
実験により, VLMの視覚知覚能力を大幅に向上させ, 4%以上の性能向上を実現するLang2Actの有効性が示された。
すべてのコードとデータはhttps://github.com/NEUIR/Lang2Act.comで入手できる。
関連論文リスト
- AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳（メタデータ） (2026-05-21T17:58:26Z) - VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents [14.848584432075285]
大規模言語モデル(LLM)と強化学習(RL)により、エージェントはタスク実行のために言語命令をより効率的に解釈できる。
本稿では,視覚知識と言語知識を統合し,仮想ロールアウトを生成するフレームワークであるVisual-Language Knowledge-Guided Offline Reinforcement Learning (VLGOR)を提案する。
ロボット操作ベンチマークの実験では、VLGORは新たな最適ポリシーを必要とする未確認タスクのパフォーマンスを著しく改善し、ベースライン法よりも24%以上の成功率を達成した。
論文 参考訳（メタデータ） (2026-03-24T07:40:30Z) - Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。
我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。
本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
論文 参考訳（メタデータ） (2026-03-21T13:10:37Z) - ViPER: Empowering the Self-Evolution of Visual Perception Abilities in Vision-Language Model [61.29164681694533]
ViPERは、自己評価と自己予測を通じて反復的な進化を可能にするように設計されたセルフブートストラッピングフレームワークである。
Qwen-Viperは、汎用性を維持しながら、さまざまな視覚言語シナリオにおける優れたパフォーマンスを一貫して示す。
論文 参考訳（メタデータ） (2025-10-28T10:42:57Z) - Perception Before Reasoning: Two-Stage Reinforcement Learning for Visual Reasoning in Vision-Language Models [33.78309915588303]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を引き出すのに非常に有効であることが証明されている。
視覚言語モデル(VLM)の知覚能力と推論能力を両立させる2段階強化学習フレームワークを提案する。
提案した2段階強化学習プロセスの後,視覚言語モデルであるPeBR-R1を得た。
論文 参考訳（メタデータ） (2025-09-16T12:51:11Z) - Hidden in plain sight: VLMs overlook their visual representations [48.83628674170634]
視覚言語モデル(VLM)と視覚エンコーダを比較し、これらのモダリティをまたいで統合する能力を理解する。
VLMは視覚エンコーダよりも著しく性能が悪く、近距離性能に低下することがわかった。
論文 参考訳（メタデータ） (2025-06-09T17:59:54Z) - VTool-R1: VLMs Learn to Think with Images via Reinforcement Learning on Multimodal Tool Use [33.83255323522487]
VTool-R1は、視覚言語モデルを訓練し、思考のマルチモーダル連鎖を生成する最初のフレームワークである。
VTool-R1はPythonベースのビジュアル編集ツールをReinforcement Learning Finetuningプロセスに統合する。
論文 参考訳（メタデータ） (2025-05-25T18:23:39Z) - OpenThinkIMG: Learning to Think with Images via Visual Tool Reinforcement Learning [57.89304342666846]
OpenThinkIMGは、ツール拡張LVLMのための、最初のオープンソースで包括的なエンドツーエンドフレームワークです。
本稿では,LVLMを学習し,外部視覚ツールを起動するための適応的なポリシーを学ぶための,新しい強化学習フレームワークV-ToolRLを提案する。
V-ToolRLにより、LVLMは最適なツール利用戦略を自律的に発見できる。
論文 参考訳（メタデータ） (2025-05-13T14:35:51Z) - Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。
このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。
本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
論文 参考訳（メタデータ） (2024-12-12T18:55:18Z) - Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。
新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
論文 参考訳（メタデータ） (2024-02-12T18:21:14Z) - VILA: On Pre-training for Visual Language Models [74.08039416548209]
ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。
私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
論文 参考訳（メタデータ） (2023-12-12T18:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。