Fugu-MT 論文翻訳(概要): VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL

論文の概要: VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL

arxiv url: http://arxiv.org/abs/2505.23977v1
Date: Thu, 29 May 2025 20:08:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-02 19:47:52.649127
Title: VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL
Title（参考訳）: VisualSphinx: RL用の大規模合成視覚論理パズル
Authors: Yichen Feng, Zhangchen Xu, Fengqing Jiang, Yuetai Li, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran,
Abstract要約: 大規模合成視覚論理推論学習データであるVisualSphinxを提案する。そこで本研究では,画像合成の課題を解決するために,ルール・ツー・イメージ合成パイプラインを提案する。実験により、VisualSphinx上でGRPOを使用してトレーニングされたVLMは、私たちのデータセットの論理的一貫性と可読性から恩恵を受けることが示された。
参考スコア（独自算出の注目度）: 11.10804309162152
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision language models (VLMs) are expected to perform effective multimodal reasoning and make logically coherent decisions, which is critical to tasks such as diagram understanding and spatial problem solving. However, current VLM reasoning lacks large-scale and well-structured training datasets. To bridge this gap, we propose VisualSphinx, a first-of-its-kind large-scale synthetic visual logical reasoning training data. To tackle the challenge of image synthesis with grounding answers, we propose a rule-to-image synthesis pipeline, which extracts and expands puzzle rules from seed questions and generates the code of grounding synthesis image synthesis for puzzle sample assembly. Experiments demonstrate that VLM trained using GRPO on VisualSphinx benefit from logical coherence and readability of our dataset and exhibit improved performance on logical reasoning tasks. The enhanced reasoning capabilities developed from VisualSphinx also benefit other reasoning tasks such as algebraic reasoning, arithmetic reasoning and geometry reasoning.
Abstract（参考訳）: 視覚言語モデル(VLM)は、効率的なマルチモーダル推論を行い、論理的に一貫性のある決定を行うことが期待されている。しかしながら、現在のVLM推論には大規模で構造化されたトレーニングデータセットが欠けている。このギャップを埋めるため、我々はVisualSphinxを提案する。画像合成の課題を解決するために,シード質問からパズルルールを抽出し,拡張するルール・ツー・イメージ合成パイプラインを提案し,パズルサンプル集合のためのグラウンドディング合成画像合成のコードを生成する。実験により、VisualSphinx上でGRPOを使用してトレーニングしたVLMは、我々のデータセットの論理的コヒーレンスと可読性から恩恵を受けており、論理的推論タスクのパフォーマンスが向上していることが示された。 VisualSphinxから開発された拡張推論機能は、代数的推論、算術的推論、幾何学的推論といった他の推論タスクにもメリットがある。

関連論文リスト

Oedipus and the Sphinx: Benchmarking and Improving Visual Language Models for Complex Graphic Reasoning [14.984593408786045]
図形推論タスクにおける視覚言語モデル(VLM)の性能を評価するためにReasonBenchを提案する。 ReasonBenchには、現実世界のインテリジェンステストからの1,613の質問が含まれている。我々は11の主流VLMをベンチマークし、現在のモデルの大幅な制限を明らかにした。
論文参考訳（メタデータ） (2025-08-01T05:12:38Z)
LogicPuzzleRL: Cultivating Robust Mathematical Reasoning in LLMs via Reinforcement Learning [29.047063129464494]
大規模言語モデル(LLM)は多くの教師付きタスクで優れるが、よくなじみのない設定で構造化された推論に悩まされる。この矛盾は、標準的な微調整パイプラインが汎用的な思考戦略を育むのではなく、狭く、ドメイン固有のものを注入する可能性があることを示唆している。本研究では,7つのカスタム論理パズルの組による強化学習を通じて,LLMを微調整する「学習のための遊び」フレームワークを提案する。
論文参考訳（メタデータ） (2025-06-05T09:40:47Z)
Perceptual Decoupling for Scalable Multi-modal Reasoning via Reward-Optimized Captioning [78.17782197231325]
本稿では,抽出者のキャプション動作と推論目的を一致させる推論誘導型強化学習戦略を提案する。マルチモーダルな数学と科学ベンチマークの実験により、提案手法は最先端の平均性能を達成することを示した。
論文参考訳（メタデータ） (2025-06-05T02:28:07Z)
VisuRiddles: Fine-grained Perception is a Primary Bottleneck for Multimodal Large Language Models in Abstract Visual Reasoning [66.84770041828462]
マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、多くの推論タスクにおいて、その性能を著しく向上させてきた。 AVR(Abstract Visual Reasoning)は、抽象グラフィックの知覚に制限があるため、依然として重要な課題である。 PRSのベンチマークであるVisuRiddlesを提案し、モデルの推論能力を評価するために精巧に構築されたタスクを特徴付ける。第二に、パーセプチュアル・リドル・シンセサイザー (PRS) を導入する。
論文参考訳（メタデータ） (2025-06-03T07:24:00Z)
Jigsaw-R1: A Study of Rule-based Visual Reinforcement Learning with Jigsaw Puzzles [22.005722971314707]
本稿では、ジグソーパズルを構造化実験フレームワークとして用いたルールベースの視覚的RLについて包括的に研究する。 MLLMは、最初は単純なパズルのランダムな推測に近づき、ほぼ完璧な精度を達成し、微調整によって複雑で目に見えない構成に一般化する。 MLLMは、明確な推論の有無に関わらず学習し、一般化することができるが、オープンソースモデルは直接答えを好むことが多い。
論文参考訳（メタデータ） (2025-05-29T16:01:22Z)
Decoupled Visual Interpretation and Linguistic Reasoning for Math Problem Solving [57.22004912994658]
現在の大型視覚言語モデル(LVLM)は、通常、大型言語モデル(LLM)のテキスト埋め込みと視覚的特徴をリンクするためのコネクタモジュールを使用する。本稿では,エンド・ツー・エンドの視覚言語推論モデルをトレーニングする代わりに,分離された推論フレームワークの開発を提唱する。
論文参考訳（メタデータ） (2025-05-23T08:18:00Z)
OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
論文参考訳（メタデータ） (2025-03-21T17:52:43Z)
Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文参考訳（メタデータ） (2025-01-08T18:31:16Z)
Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
論文参考訳（メタデータ） (2024-09-19T03:39:09Z)
Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文参考訳（メタデータ） (2024-04-24T17:59:48Z)
LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文参考訳（メタデータ） (2023-09-24T05:43:19Z)
Learning Differentiable Logic Programs for Abstract Visual Reasoning [18.82429807065658]
微分フォワード推論は、勾配に基づく機械学習パラダイムと推論を統合するために開発された。 NEUMANNはグラフベースの微分可能フォワード推論器で、メッセージをメモリ効率のよい方法で送信し、構造化プログラムを関手で処理する。 NEUMANNは視覚的推論タスクを効率的に解き、神経、象徴的、神経-象徴的ベースラインを上回ります。
論文参考訳（メタデータ） (2023-07-03T11:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。