論文の概要: VisualEvolve: A Skill Self-Evolution Framework for Visual Reasoning

• arxiv url: http://arxiv.org/abs/2610.28386v1
• Date: Tue, 20 Oct 2026 15:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.889808
• Title: VisualEvolve: A Skill Self-Evolution Framework for Visual Reasoning
• Title（参考訳）: VisualEvolve:ビジュアル推論のためのスキルの自己進化フレームワーク
• Abstract要約: 視覚ツールの使用により、視覚言語モデル(VLM)はタスク関連エビデンスを取得することができるが、その有効性は、事前に定義された視覚操作と、トレーニング中に学習したツール利用戦略によって制限される。 Select-Execute--Evolve--Evaluate cycleを通して、VLMの実行可能なビジュアル操作とツール利用戦略を進化させるフレームワークであるVisualEvolveを提案する。 VisualEvolveは、初期スキルライブラリを24設定中23で改善し、Qwen3.5-Plusを使用してVisualProbe Hardで最大15.1ポイント向上した。
• 参考スコア（独自算出の注目度）: 50.86992960366212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual tool use enables vision-language models (VLMs) to acquire task-relevant evidence, but its effectiveness can be limited by predefined visual operations and the tool-use strategies learned during training. Representing these operations and strategies as reusable external skills allows them to be refined through self-evolution without updating model parameters. However, skill refinement can introduce performance regressions. Meanwhile, inspecting accumulated task execution trajectories together with skill evolution history may lead to evolution evidence overload. To address these challenges, we propose VisualEvolve, a self-evolving framework that evolves executable visual operations and tool-use strategies for VLMs through a Select--Execute--Evolve--Evaluate cycle. Skill-Library Snapshot Selection uses performance on a fixed validation set disjoint from execution tasks to select an effective historical snapshot for subsequent evolution, limiting the propagation of performance regressions. Progressive Evidence Access (PEA) guides capability-gap diagnosis through a coarse-to-fine hierarchy comprising the Skill-Performance Report, Evolution Log, Trajectory Summaries, and relevant raw trajectory segments. Across four VLM backbones and six evaluation sets from three benchmarks, VisualEvolve improves over the Initial Skill Library in 23 of 24 settings, with a maximum gain of 15.1 percentage points on VisualProbe Hard using Qwen3.5-Plus. Ablation studies support the contributions of Snapshot Selection and PEA, while further experiments show that skills can be improved using experience from different data settings and directly reused across backbones. Moreover, VisualEvolve enables effective skill self-evolution with over an order of magnitude fewer task-solving trajectories than estimated for representative RL-based methods.
• Abstract（参考訳）: 視覚ツールの使用により、視覚言語モデル(VLM)はタスク関連エビデンスを取得することができるが、その有効性は、事前に定義された視覚操作と、トレーニング中に学習したツール利用戦略によって制限される。 これらの操作と戦略を再利用可能な外部スキルとして表現することで、モデルパラメータを更新せずに自己進化を通じて洗練することができる。 しかし、スキルの洗練は性能の低下をもたらす可能性がある。 一方、蓄積したタスク実行軌跡とスキル進化の歴史を検査すると、進化のエビデンスが過負荷になる可能性がある。 これらの課題に対処するため、我々はVisualEvolveを提案する。VisualEvolveは、Select--Execute--Evolve--Evaluate cycleを通して、VLMの実行可能な視覚操作とツール利用戦略を進化させる自己進化フレームワークである。 Skill-Library Snapshot Selectionは、実行タスクから切り離された固定されたバリデーションセットのパフォーマンスを使用して、その後の進化のための効果的な履歴スナップショットを選択し、パフォーマンスレグレッションの伝搬を制限する。 プログレッシブ・エビデンス・アクセス(PEA)は、スキル・パフォーマンスレポート(Skill-Performance Report)、進化ログ(Evolution Log)、トラジェクティブ・サマリー(Trajectory Summaries)、関連する生の軌跡セグメント(raw trajectory segment)からなる粗い階層を通じて、能力ギャップの診断をガイドする。 3つのベンチマークから得られた4つのVLMバックボーンと6つの評価セットの中で、VisualEvolveは初期スキルライブラリを23の設定で改善し、Qwen3.5-Plusを使用してVisualProbe Hardで最大15.1ポイント向上した。 アブレーション研究はSnapshot SelectionとPEAのコントリビューションをサポートし、さらなる実験では、異なるデータ設定からのエクスペリエンスを使用してスキルを改善し、バックボーンを直接再利用できることが示されている。 さらに、VisualEvolveは、代表的RL法よりも桁違いに少ないタスク解決トラジェクトリで効果的なスキル自己進化を可能にする。

関連論文リスト

• V-Gym: Enhancing Agentic Visual Reasoning via Skill-Data Co-Evolution [68.43599428916389]
  V-Gymは、手続き的なスキルと実行軌跡からのマルチモーダルな実践データを反復的に進化させる、自律的なフレームワークである。 スキル進化の過程で、V-Gymは軌道を分析して階層的なスキルを蒸留し、洗練し、手続き的なガイダンスと適用性条件を更新する。 結果として得られた実践結果は、その後のスキル更新にフィードバックされ、継続的なスキル改善のループを閉じます。
  論文  参考訳（メタデータ） (2026-09-28T09:09:24Z)
• VCE-Skill: Enhancing Skill Self-Evolution with Version-Change Experience [12.60845363300573]
  既存のスキル自己進化手法は、主に現在のタスクから収集された実行軌跡を使ってスキルを改訂する。 本稿では,VCE-Skillを提案する。VCE-Skillは,ノイズや実装固有の公開スキルの変更を再利用し,再利用可能なバージョンチェンジエクスペリエンスを実現する。 私たちの研究は、事前知識の未熟だが効果的な源泉として、公開スキルのバージョン変更を強調し、軌道駆動スキルの自己進化を前進させます。
  論文  参考訳（メタデータ） (2026-08-17T13:16:59Z)
• Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents [67.97365535829098]
  経験から学ぶことは、有能で自己改善型の大規模言語モデル(LLM)エージェントの開発に不可欠である。 Evo-Harnessは、ノイズの多いシングルショット実行を、クロスドメインとトピックレベルの適応のための再利用可能なスキルハーネスに蒸留する。 本分析は,エボ・ハーネスの有効性を実証し,LLMエージェントがリアルタイムで効果的に学習する方法の原理的理解を提供する。
  論文  参考訳（メタデータ） (2026-08-15T06:43:56Z)
• Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
  大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。 データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。 リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
  論文  参考訳（メタデータ） (2026-07-29T09:05:40Z)
• Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents [31.6974589324286]
  自己進化エージェントは、過去の相互作用から再利用可能な経験を蒸留することで、大きな言語モデルの静的な性質を克服することを目的としている。 本稿では、自己進化に必要な経験抽出と利用能力を共同で改善する効率的なアルゴリズムフレームワークであるEvolving-RLを提案する。 ALFWorldとMind2Webの実験によると、Evolving-RLはLLMが経験を抽出し再利用する能力を効果的に強化する。
  論文  参考訳（メタデータ） (2026-05-11T14:43:56Z)
• One RL to See Them All: Visual Triple Unified Reinforcement Learning [92.90120580989839]
  V-Triuneは、視覚的推論と知覚タスクを1つのトレーニングパイプライン内で実現するビジュアルトリプル統一強化学習システムである。 V-Triuneは3つの補完的なコンポーネントで構成されている: Sample-Level Datashelf (多様なタスク入力を統一する)、Verifier-Level Reward (特殊検証を通じてカスタム報酬を提供する)。 本稿では,V-Triuneが処理する知覚タスクに対して適応的,進行的,明確なフィードバックを提供する,新しい動的IoU報酬を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:41:14Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。