論文の概要: Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition

• arxiv url: http://arxiv.org/abs/2503.12303v6
• Date: Sat, 14 Jun 2025 13:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 15:15:30.391885
• Title: Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition
• Title（参考訳）: 予習は終わらないか? 自己改善型システム認識による次世代MLLMへの第一歩
• Authors: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Jen-Tse Huang, Chi Chen, Wei Ke, Helen Meng, Maosong Sun,
• Abstract要約: 自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
• 参考スコア（独自算出の注目度）: 89.50068130832635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in (multimodal) large language models ((M)LLMs) has shifted focus from pre-training to inference-time computation and post-training optimization, largely due to concerns over the availability of high-quality human data. However, these strategies alone are insufficient to drive substantial model improvements. We argue that effective model advancement requires strong synergy among pre-training, inference-time computation, and post-training optimization. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework for constructing next-generation foundation MLLMs by imparting multimodal knowledge and enhancing systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description for step-by-step visual understanding and integrate structured Chain-of-Thought (CoT) reasoning to support in-depth multimodal reasoning. SIcog first equips a base model with systematic perception and reasoning using minimal external supervision. The enhanced models then generate candidate image captions and CoT reasoning responses for unlabeled images and image-question pairs across diverse tasks, which are filtered through a semantic-similarity-guided self-consistency mechanism. These high-quality, self-generated samples enable large-scale multimodal pre-training, creating a self-improvement loop. Experiments demonstrate SIcog's effectiveness in developing MLLMs with enhanced multimodal cognition. Using only 213K self-generated pre-training samples, SIcog achieves significant improvements, including +3.6% on MMStar and +3.5% on AI2D, outperforming previous pre-training approaches. When combined with post-training techniques for CoT reasoning, SIcog yields +9% gains on MMVet and +8.5% on ScienceQA.
• Abstract（参考訳）: マルチモーダル(マルチモーダル)な大規模言語モデル((M)LLM)の最近の進歩は、高品質な人的データの入手に関する懸念から、事前学習から推論時間計算、後学習の最適化へと焦点を移している。 しかし、これらの戦略だけでは、実質的なモデル改善を促進するには不十分です。 我々は、事前学習、推論時間計算、学習後の最適化において、効果的なモデル進行には強い相乗効果が必要であると論じる。 本稿では,マルチモーダル知識を付与し,自己生成データを用いたマルチモーダル事前学習を通じて体系的認知能力を向上させることによって,次世代MLLMを構築するための自己学習フレームワークである,自己改善認知(SIcog)を紹介する。 具体的には、ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、深いマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 SIcogはまず、最小限の外部監視を使用して、体系的な知覚と推論を備えたベースモデルを提供する。 強化されたモデルでは、未ラベルの画像に対する候補画像キャプションとCoT推論応答を、さまざまなタスクにわたって生成し、セマンティック・シミュラリティ・ガイドによる自己整合性メカニズムを通じてフィルタリングする。 これらの高品質な自己生成サンプルは、大規模なマルチモーダル事前学習を可能にし、自己改善ループを生成する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。 SIcogは213Kの自己生成事前トレーニングサンプルのみを使用して、MMStarの+3.6%、AI2Dの+3.5%などの大幅な改善を実現し、以前の事前トレーニングアプローチよりも優れていた。 CoT推論のポストトレーニング技術と組み合わせると、SIcogはMMVetで+9%、ScienceQAで+8.5%上昇する。

関連論文リスト

• Self-Controlled Dynamic Expansion Model for Continual Learning [10.447232167638816]
  本稿では, 自己制御型動的拡張モデル(SCDEM)を提案する。 SCDEMは複数のトレーニング可能なトレーニング済みのViTバックボーンを編成し、多様で意味的に豊かな表現を提供する。 提案手法の有効性を評価するため,幅広い実験が実施されている。
  論文  参考訳（メタデータ） (2025-04-14T15:22:51Z)
• MORAL: A Multimodal Reinforcement Learning Framework for Decision Making in Autonomous Laboratories [4.503215272392276]
  自律的な研究室における意思決定のためのマルチモーダル強化学習フレームワークMORALを提案する。 我々は、事前訓練されたBLIP-2視覚言語モデルで微調整された画像キャプションを生成し、早期融合戦略により視覚特徴と組み合わせる。 実験の結果,マルチモーダルエージェントはタスク完了率を20%向上することがわかった。
  論文  参考訳（メタデータ） (2025-04-04T04:15:52Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models [10.449015816015566]
  自己改善は、Large Language Model(LLM)の事前トレーニング、ポストトレーニング、テストタイム推論におけるメカニズムである。 本稿では,自己改善のための数学的定式化について述べる。 また、自己改善がいつ可能か、反復的な自己改善手順、その性能改善方法についても検討する。
  論文  参考訳（メタデータ） (2024-12-03T18:47:26Z)
• Self-Improvement in Language Models: The Sharpening Mechanism [70.9248553790022]
  我々は、レンズを通して自己改善の能力について、新たな視点を提供する。 言語モデルは、正しい応答を生成する場合よりも、応答品質の検証が優れているという観察に感銘を受けて、後学習において、モデル自体を検証対象として、自己改善を形式化する。 SFTとRLHFに基づく自己改善アルゴリズムの2つの自然ファミリーを解析する。
  論文  参考訳（メタデータ） (2024-12-02T20:24:17Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。