論文の概要: SelfThinker: Self-Evolving Reasoning via Reliability-Verified Intrinsic Visual Thoughts

• arxiv url: http://arxiv.org/abs/2610.40115v1
• Date: Thu, 29 Oct 2026 14:14:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 08:15:47.140218
• Title: SelfThinker: Self-Evolving Reasoning via Reliability-Verified Intrinsic Visual Thoughts
• Title（参考訳）: SelfThinker: 信頼性検証による自己進化型推論
• Abstract要約: 統一マルチモーダルモデルは、1組の重みで画像を生成し、理解することができる。 既存の視覚的チェーン・オブ・シント法は、トレーニング中に人間に注釈を付けたヘルパーイメージに依存している。 我々は、統一モデルの自己生成視覚的思考を、人間の画像アノテーションなしでより強力な理解に変換する最初の自己進化的フレームワークであるSelfThinkerを紹介する。
• 参考スコア（独自算出の注目度）: 10.364753404320252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models can both generate and understand images within a single set of weights, offering an opportunity to use image synthesis as training supervision for visual comprehension. However, existing visual chain-of-thought methods rely on human-annotated helper images during training and require slow image generation at test time. We present SelfThinker, the first self-evolving framework that turns a unified model's self-generated visual thoughts into stronger understanding without human image annotations. Given a visual problem, SelfThinker samples candidate helper images from its generation pathway and uses its frozen understanding pathway to score each candidate via conditional pointwise mutual information. High-utility visual thoughts then refine the generator via flow matching and serve as privileged teacher context for on-policy self-distillation. At inference, SelfThinker reasons directly from the original image in text without generating intermediate images. Although trained only on small synthetic visual-search and navigation datasets, SelfThinker transfers broadly to natural-image and spatial benchmarks, raising the seven-benchmark average of ThinkMorph-7B from 52.7 to 64.0 (+11.3 points). Controlled image-perturbation probes further show that SelfThinker surpasses ThinkMorph-7B by up to 40.4 points and its pretrained BAGEL-7B backbone by up to 23.2 points across fine-grained and spatial perception tasks. Our code is available at https://github.com/zhangquanchen/SelfThinker.
• Abstract（参考訳）: 統一マルチモーダルモデルは、一組の重みの中で画像の生成と理解の両方が可能であり、視覚的理解のためのトレーニングの監督として画像合成を使用する機会を提供する。 しかし、既存のビジュアルチェーン・オブ・シント法は、トレーニング中に人間にアノテートされたヘルパー画像に依存しており、テスト時に遅い画像を生成する必要がある。 我々は、統一モデルの自己生成視覚的思考を、人間の画像アノテーションなしでより強力な理解に変換する最初の自己進化的フレームワークであるSelfThinkerを紹介する。 視覚的な問題が発生した場合、SelfThinkerはその生成経路から候補ヘルパー画像をサンプリングし、凍結した理解経路を使用して各候補を条件付きポイントワイドの相互情報でスコアする。 高ユーティリティな視覚的思考はフローマッチングを通じてジェネレータを洗練し、オン・ポリティックな自己蒸留のための特権的な教師コンテキストとして機能する。 推論では、SelfThinkerは、中間画像を生成することなく、テキスト中の元の画像から直接理由付けする。 小さなビジュアル検索とナビゲーションのデータセットでしか訓練されていないが、SelfThinkerは自然画像と空間的ベンチマークに広く移行し、ThinkMorph-7Bの7ベンチマーク平均を52.7から64.0(+11.3ポイント)に引き上げた。 制御された画像摂動プローブにより、SelfThinkerはThinkMorph-7Bを最大40.4ポイント、その事前訓練されたBAGEL-7Bのバックボーンを最大23.2ポイント、きめ細かな空間認識タスクで超えることが示された。 私たちのコードはhttps://github.com/zhangquanchen/SelfThinker.comから入手可能です。

関連論文リスト

• MentalThink: Shaping Thoughts in Mental SVG World [65.29580685085101]
  MentalThink(メンタルシンク)は、マルチモーダル LLM に「メンタル」視覚化の実行可能なメカニズムを組み込んだ視覚的シンボリック推論パラダイムである。 我々はこのパラダイムを2段階のトレーニングフレームワークを通じてインスタンス化し、マルチターンSVG強化学習(RL)と構文アライメントのためのSupervised FineTuning(SFT)を組み合わせることで、中間視覚仮説の反復的検査、修正、改善を促進する。
  論文  参考訳（メタデータ） (2026-07-03T17:59:58Z)
• Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
  視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。 本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。 画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:57Z)
• Thinking Without Images: Internalizing Visual Manipulation with On-Policy Self-Distillation [19.81721375367558]
  きめ細かな視覚的推論に有効なパラダイムとして「画像で考える」が登場している。 我々は,「画像で考える」という理由付けの利点が,Imaginationで考えることによって内在化できるかどうかを問う。 本研究では,教師が「画像で考える」理性者の役割を担う,政治上の自己蒸留フレームワークであるImagine-OPDを提案する。
  論文  参考訳（メタデータ） (2026-06-07T16:29:49Z)
• How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning [18.15809161363394]
  クロスビュー空間推論は、視覚言語モデルにとって弱点である。 私たちは、どのように視覚的思考を重要にするか、どんな視覚的思考が最善か尋ねます。
  論文  参考訳（メタデータ） (2026-05-26T17:20:05Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• Heuristic Vision Pre-Training with Self-Supervised and Supervised Multi-Task Learning [0.0]
  マルチタスク方式で自己教師型と教師型の両方の視覚的プレテキストタスクを採用することで、新しい事前学習フレームワークを提案する。 その結果、事前学習したモデルでは、複数の視覚的タスクにおいて、最先端(SOTA)結果と同等以上の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-11T14:06:04Z)
• Bongard-HOI: Benchmarking Few-Shot Visual Reasoning for Human-Object Interactions [138.49522643425334]
  Bongard-HOIは、自然画像からの人間と物体の相互作用の合成学習に焦点を当てた、新しい視覚的推論ベンチマークである。 古典的ボナード問題(BP)の2つの望ましい特徴に着想を得たものである。 Bongard-HOIは、今日の視覚認識モデルに重大な課題を提示している。
  論文  参考訳（メタデータ） (2022-05-27T07:36:29Z)
• Self-Supervised Viewpoint Learning From Image Collections [116.56304441362994]
  本稿では,解析・合成パラダイムを取り入れた新たな学習フレームワークを提案する。 提案手法は,人間の顔,車,バス,電車など,複数の対象カテゴリに対して,完全に教師されたアプローチに対して競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2020-04-03T22:01:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。