論文の概要: Self-Evolving Code-with-Image Reasoning

• arxiv url: http://arxiv.org/abs/2608.11292v1
• Date: Tue, 11 Aug 2026 17:14:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.325097
• Title: Self-Evolving Code-with-Image Reasoning
• Title（参考訳）: 自己進化型コードと画像推論
• Abstract要約: 我々は思考とイメージとして知られるパラダイムであるCode-with-Imageを紹介する。 コード・ウィズ・イメージ(Code-with-Image)は、Pythonインタプリタ以外を考慮すれば、そのタスクを解決するために、本物のビジュアルアルゴリズムをコード内に実装しなければならない。 トレーニングなしのリフレクションループは、モデル自身の失敗したプログラムを研究し、建設的な地上の真実に対するテストを修正し、ポータブルなスキルとして生き残るものを維持する。
• 参考スコア（独自算出の注目度）: 27.32160031771406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal models increasingly reach for tools when solving visual tasks (crop, zoom, rotate, brighten), a paradigm known as thinking-with-images. The central challenge is one of perception: tools mostly serve to expose visual evidence, reasoning over that evidence stays in language, and most targets are ones a human could in principle determine by inspection. Some visual questions, however, are not bottlenecked by perception: recovering their answers requires executing a multi-step visual algorithm over the pixels. On such questions a model often names the correct algorithm at once yet still answers wrong, because language can describe an algorithm without being able to run one. Code-with-Image crosses that line: given nothing but a Python interpreter, the model must implement a genuine visual algorithm in code to solve the task; the program itself becomes the reasoning. The bottleneck then shifts from executing code to deciding which algorithm to implement. So we let the model teach itself: a training-free reflection loop studies its own failed programs, tests repairs against constructive ground truth, and keeps what survives as portable skills. On our Code-with-Image Bench (CwI-Bench), thirty task families induced by hidden visual computations with disjoint learning and evaluation splits, even GPT-5.6-luna stays below 30% with tool-free chain of thought; given a bare interpreter it reaches 43%, and with skills evolved through its own executable reflection, 67%. The open 27B model climbs the same ladder (9% $\rightarrow$ 33% $\rightarrow$ 56%), and the skills are plain text, transferable across scales and families. When code carries the reasoning, debugging code becomes debugging reasoning.
• Abstract（参考訳）: マルチモーダルモデルは、思考とイメージとして知られるパラダイムである視覚的タスク(頭字語、ズーム、回転、明るさ)を解く際に、ますますツールに到達している。 ツールは主に視覚的証拠を公開するのに役立ち、証拠が言語に留まっていると推論し、ほとんどのターゲットは人間が基本的に検査によって決定できるものである。 しかし、いくつかの視覚的疑問は、知覚によってボトルネックにはならない。その答えを回復するには、ピクセル上で多段階の視覚的アルゴリズムを実行する必要がある。 このような質問に対して、言語はそれを実行せずにアルゴリズムを記述することができるため、モデルはしばしば正しいアルゴリズムを一度に名付けるが、まだ間違っている。 コード・ウィズ・イメージ(Code-with-Image)は、Pythonのインタプリタに限らず、タスクを解決するために、モデルが真のビジュアルアルゴリズムをコード内に実装しなければならない。 ボトルネックはコード実行から、どのアルゴリズムを実装するかを決めるようになる。 トレーニングなしのリフレクションループは、自身のプログラムを学習し、建設的な基礎的な真実に対して修復をテストし、ポータブルなスキルとして生き残るものを保持します。 Code-with-Image Bench (CwI-Bench)では、非結合的な学習と評価の分割を伴う隠れビジュアル計算によって引き起こされる30のタスクファミリ、GPT-5.6-lunaでさえ、ツールのない思考の連鎖で30%以下にとどまっている。 オープンな27Bモデルは、同じはしごを登る(9%$\rightarrow$33%$\rightarrow$56%)。 コードが推論を実行すると、デバッグコードがデバッグ推論になる。

関連論文リスト

• Do multimodal models imagine electric sheep? [99.83000217195644]
  12種類の視覚的推論タスクを解決するために、Qwen3.5 VLMを微調整する。 各アクション後のモデルのアクティベーションは、中間状態に関する有意義な視覚情報を符号化していることを示す。 1ステップあたり16個のビジュアルトークンを統合することで,平均解率を83%から89%に向上することがわかった。
  論文  参考訳（メタデータ） (2026-05-10T18:25:52Z)
• RECODE: Reasoning Through Code Generation for Visual Question Answering [68.86938437188964]
  我々は、検証可能な視覚的推論のための新しいモダリティとして、視覚を実行可能コードにリバースエンジニアリングするプロセスであるデレンダリングを活用することを提案する。 我々の研究は、実行可能コードにおける視覚的認識の基盤が、より正確で検証可能なマルチモーダル推論への新たな道を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-15T17:05:37Z)
• CodePlot-CoT: Mathematical Visual Reasoning by Thinking with Code-Driven Images [69.93976232543066]
  本稿では,コード駆動型Chain-of-ThoughtパラダイムであるCodePlot-CoTを提案する。 そこで我々はまず,視覚推論を用いた数学問題のための大規模バイリンガルデータセットとベンチマークであるMath-VRを構築した。 我々のモデルは,提案したコード駆動推論パラダイムの有効性を十分に検証し,ベースモデルよりも最大で21%向上する。
  論文  参考訳（メタデータ） (2025-10-13T17:59:55Z)
• Self-Questioning Language Models [58.73276539661649]
  本稿では,提案者がトピックを与えられ,解答者に対する質問を生成する非対称なセルフプレイフレームワークを提案する。 提案者と解答者はともに強化学習を通じて訓練される。 3桁の乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題である。
  論文  参考訳（メタデータ） (2025-08-05T17:51:33Z)
• Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding [94.64781599202882]
  視覚言語モデル(VLM)はマルチモーダルタスクにおいて顕著な進歩を遂げた。 彼らはしばしば、オブジェクトのカウントや長さ比較のような一見単純な機能である視覚的算術に苦しむ。 我々は、ピアジェの認知発達理論に触発された新しいポストトレーニング戦略であるCogAlignを提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:54:49Z)
• Think-Program-reCtify: 3D Situated Reasoning with Large Language Models [68.52240087262825]
  本研究は,3次元環境における自我中心の観察から得られる質問に答えることを目的とした3次元位置推論課題に対処する。 我々は,ThinkProgram-reCtifyループを通じて,大規模言語モデル(LLM)の計画,ツール使用,リフレクション機能を活用する新しいフレームワークを提案する。 SQA3Dベンチマークの実験と解析により,本手法の有効性,解釈可能性,ロバスト性を実証した。
  論文  参考訳（メタデータ） (2024-04-23T03:22:06Z)
• Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models [17.76252625790628]
  本稿では,言語モデルの推論過程を2段階に分解するフレームワークであるThink-and-Executeについて述べる。 7つのアルゴリズム的推論タスクについて広範な実験を行い、思考と実行の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-03T08:49:11Z)
• Chain of Images for Intuitively Reasoning [23.692458865558486]
  本稿では,複雑な言語推論問題を単純なパターン認識に変換するために,画像の連鎖(CoI)アプローチを提案する。 我々は、画像が直感的に問題解決を支援する15の異なる領域を含むCoI評価データセットを開発した。 CoI推論を支援するために,言語命令に基づいて厳密に画像を生成するシンボリック・マルチモーダル・大規模言語モデル(SyMLLM)を導入する。
  論文  参考訳（メタデータ） (2023-11-09T11:14:51Z)
• Chain of Thought Prompt Tuning in Vision Language Models [29.85907584680661]
  本稿では,視覚言語モデリングのための思考プロンプトチューニング手法を提案する。 私たちは、視覚とテキストの埋め込みを組み合わせたチェーン・オブ・シークレットのプロンプトを成功させた最初の人物です。
  論文  参考訳（メタデータ） (2023-04-16T23:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。