論文の概要: MindGYM: What Matters in Question Synthesis for Thinking-Centric Fine-Tuning?

• arxiv url: http://arxiv.org/abs/2503.09499v2
• Date: Thu, 22 May 2025 16:47:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:21.936466
• Title: MindGYM: What Matters in Question Synthesis for Thinking-Centric Fine-Tuning?
• Title（参考訳）: MindGYM:思考中心のファインチューニングにおける質問合成の課題
• Authors: Zhe Xu, Daoyuan Chen, Zhenqing Ling, Yaliang Li, Ying Shen,
• Abstract要約: MindGYMは、質問合成のための構造化されスケーラブルなフレームワークである。 モデル合成の振る舞いを形作るために、高レベルの推論目的を注入する。 より深い推論のために、QAシードに基づいてより複雑なマルチホップ質問を構成する。
• 参考スコア（独自算出の注目度）: 37.60935581067836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large foundation models face challenges in acquiring transferable, structured thinking abilities, especially when supervised with rigid templates or crowd-annotated instruction datasets. Unlike prior approaches, we focus on a thinking-centric data synthesis paradigm that enables models to evolve through self-generated, cognitively guided data. We propose MindGYM, a structured and scalable framework for question synthesis, composed of: (1) Cognitive Thinking Process Injection, which infuses high-level reasoning objectives to shape the model's synthesis behavior; (2) Seed Single-Hop Question Synthesis, generating atomic questions from diverse semantic types to encourage broader thinking; and (3) Challenging Multi-Hop QA Synthesis, composing more complex multi-hop questions based on QA seeds for deeper reasoning. Detailed analysis shows that synthetic data generated by our method achieves 16.7% higher average quality and 67.91% lower quality variance compared to baseline sources, highlighting that both high-quality and self-contained data are essential for effective, thinking-oriented fine-tuning. MindGYM improves performance on six reasoning benchmarks, achieving gains of up to 16% on MathVision using only 400 data samples, and generalizable improvements across different model sizes and architectures. MindGYM underscores the viability of self-challenging mechanisms in refining large model capabilities while minimizing human intervention and resource demands. Code and data are released to promote data-centric research into self-evolving foundation models driven by their internal reasoning capabilities.
• Abstract（参考訳）: 大規模な基盤モデルは、転送可能で構造化された思考能力、特に厳格なテンプレートやクラウドアノテートされた命令データセットを監督する場合には、課題に直面します。 従来のアプローチとは異なり、我々は思考中心のデータ合成パラダイムに重点を置いており、モデルが自己生成され、認知的に導かれるデータを通して進化することを可能にする。 本研究では,(1)モデル合成行動を形成するための高レベルの推論目標を注入する認知的思考プロセスインジェクション,(2)より広範な思考を促進するために多様な意味型からアトミックな質問を生成するシードシングルホップ質問シンセシス,(3)より深い推論のためにQA種に基づくより複雑なマルチホップ質問を構成するマルチホップQAシンセサイティング,からなる,構造化されスケーラブルな質問合成フレームワークであるMindGYMを提案する。 詳細な分析により,本手法により生成した合成データは,ベースラインソースと比較して平均品質が16.7%,品質が67.91%向上し,高品質データと自己完結データの両方が効果的,思考指向の微調整に不可欠であることが示唆された。 MindGYMは6つの推論ベンチマークのパフォーマンスを改善し、400のデータサンプルのみを使用してMathVisionで最大16%向上し、さまざまなモデルサイズとアーキテクチャにわたって一般化可能な改善を実現している。 MindGYMは、人間の介入とリソース要求を最小限に抑えながら、大きなモデル能力の精製における自己修復メカニズムの生存可能性を強調している。 コードとデータは、内部の推論能力によって駆動される自己進化基盤モデルに関するデータ中心の研究を促進するためにリリースされている。

関連論文リスト

• Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
  推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。 大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。 本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
  論文  参考訳（メタデータ） (2025-04-04T04:04:56Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Cognitive Paradigms for Evaluating VLMs on Visual Reasoning Task [3.2228025627337864]
  機械の視覚的推論を改善するには、ビジョン・ランゲージ・モデル(VLM)がどのように複雑な視覚的パターンを処理し、解釈するかを深く理解する必要がある。 本研究は,自然画像に基づくボナード問題に基づくVLM推論を体系的に解析する,認知に着想を得た新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs [103.0226977561914]
  大規模言語モデルにおけるステップバイステップの視覚的推論を促進するための包括的フレームワークを提案する。 マルチステップ推論タスクの評価に特化して設計された視覚推論ベンチマークを導入する。 第二に,個々のステップの粒度で視覚的推論品質を評価する新しい指標を提案する。 第3に、マルチステップのカリキュラム学習アプローチを用いて学習したLlamaV-o1という新しいマルチモーダル視覚推論モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:59:51Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection [13.608076739368949]
  本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。 我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
  論文  参考訳（メタデータ） (2023-10-08T06:36:26Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。