論文の概要: Learning to Group and Order: Cross-Instance Self-Supervised RL for Vision-Centric MLLMs

• arxiv url: http://arxiv.org/abs/2611.00892v2
• Date: Wed, 04 Nov 2026 12:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.629473
• Title: Learning to Group and Order: Cross-Instance Self-Supervised RL for Vision-Centric MLLMs
• Title（参考訳）: グループと秩序への学習:ビジョン中心MLLMのためのクロスインスタンス自己監督型RL
• Abstract要約: Group-and-Order Self-Supervised Reinforcement Learning (GO-SSL)は、ビジョン中心のMLLMポストトレーニングのためのクロスインスタンスジグソーフレームワークである。 GO-SSLはベースMLLMと事前の自己管理後ベースラインを継続的に改善する。
• 参考スコア（独自算出の注目度）: 20.48028067041655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) post-training has become an important paradigm for improving multimodal large language models (MLLMs), especially with automatically verifiable rewards. Self-supervised visual pretext tasks provide such rewards without human annotations. However, existing methods mainly exploit within-instance structure, offering limited supervision for cross-instance discrimination and fine-grained comparison. We introduce Group-and-Order Self-Supervised Reinforcement Learning (GO-SSL), a cross-instance jigsaw framework for vision-centric MLLM post-training. Given two visual instances, GO-SSL mixes their local elements and trains the model to group them by instance of origin while recovering the order within each group, coupling instance-level comparison with spatial, temporal, or geometric structure recovery. This paired formulation turns the same unlabeled data into richer verifiable supervision through diverse pairings, shuffles, and a random-to-hard curriculum. We instantiate GO-SSL mainly on cross-image jigsaw tasks and further extend it to 3D depth and video temporal ordering. Across diverse benchmarks, GO-SSL consistently improves over the base MLLM and prior self-supervised post-training baselines, with clear gains in fine-grained perception and spatial understanding. Further evaluations across model scales and families support its generality. These results suggest that cross-instance comparison provides a useful self-supervised RL signal for improving transferable visual understanding in MLLMs. Code is available at https://github.com/SEU-VIPGroup/GO-SSL.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)のポストトレーニングは、特に自動検証可能な報酬を伴うマルチモーダルな大規模言語モデル(MLLM)を改善するための重要なパラダイムとなっている。 自己監督型ビジュアルプレテキストタスクは、人間のアノテーションを使わずにそのような報酬を提供する。 しかし、既存の手法は主にインテリア・インスタンス構造を利用しており、クロス・インスタンスの識別ときめ細かい比較の監督が限定されている。 本稿では,視覚中心型MLLMポストトレーニングのためのクロスインスタンスジグソーフレームワークであるグループ・アンド・オーダー自己監督強化学習(GO-SSL)を紹介する。 2つの視覚的インスタンスが与えられた場合、GO-SSLはそれぞれのローカル要素を混合し、各グループ内の順序を空間的、時間的、または幾何学的構造回復と組み合わせながら、モデルを起源のインスタンスでグループ化するように訓練する。 このペア化された定式化は、異なるペアリング、シャッフル、ランダムからハードのカリキュラムを通じて、同じラベルのないデータをよりリッチに検証可能な監視に変換する。 我々は、主にクロスイメージのジグソータスクでGO-SSLをインスタンス化し、さらに3次元奥行きとビデオの時間的順序付けに拡張する。 多様なベンチマークを通じて、GO-SSLはベースMLLMと事前の自己教師付きポストトレーニングベースラインを一貫して改善し、きめ細かい知覚と空間的理解の明確な向上を実現している。 モデルスケールと家族のさらなる評価は、その一般化を支持する。 これらの結果から,MLLMの伝達可能な視覚的理解を改善するために,クロスインスタンス比較は自己教師付きRL信号として有用であることが示唆された。 コードはhttps://github.com/SEU-VIPGroup/GO-SSLで入手できる。

関連論文リスト

• SSL-R1: Self-Supervised Visual Reinforcement Post-Training for Multimodal Large Language Models [88.62912181680413]
  SSL-R1は、画像から直接検証可能な報酬を導き出す、汎用的な自己教師型RLフレームワークである。 我々は、広く使われているSSLタスクを、RL後トレーニングのための検証可能な視覚パズルのセットに再構成する。
  論文  参考訳（メタデータ） (2026-04-22T15:46:42Z)
• SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning [88.9014727048442]
  SSL4RLは、自己教師付き学習タスクをRLベースの微調整のための検証可能な報酬の源として活用する、新しいフレームワークである。 提案手法では,イメージローテーションの予測やマスク付きパッチの再構築といったSSLの目的を,高密度で自動的な報酬信号に変換する。 実験の結果、SSL4RLは視覚中心の推論ベンチマークと視覚言語推論ベンチマークの両方のパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-10-18T09:22:40Z)
• Interpretable Zero-Shot Learning with Locally-Aligned Vision-Language Model [56.573203512455706]
  大規模視覚言語モデル(VLM)は、大規模視覚テキストペアデータセットを活用することでゼロショット学習(ZSL)において顕著な成功を収めた。 この問題に対処する1つのアプローチは、言語を統合することで解釈可能なモデルを開発することである。 本稿では,ZSLを解釈可能な言語モデルであるLaZSLを提案する。
  論文  参考訳（メタデータ） (2025-06-30T13:14:46Z)
• Improving Autoregressive Visual Generation with Cluster-Oriented Token Prediction [52.09472099976885]
  IARは、LLMベースのビジュアル生成モデルのトレーニング効率と生成品質を向上させる改良された自動回帰ビジュアル生成方法である。 提案手法は,モデルのトレーニング効率と性能を100Mから1.4Bに継続的に向上させ,同じFIDを達成しながらトレーニング時間を半減させる。
  論文  参考訳（メタデータ） (2025-01-01T15:58:51Z)
• GBE-MLZSL: A Group Bi-Enhancement Framework for Multi-Label Zero-Shot Learning [24.075034737719776]
  マルチラベルシナリオ(MLZSL)におけるゼロショット学習の課題について検討する。 本稿では、GBE-MLZSLと呼ばれるMLZSLのための新しい効果的なグループバイエンハンスメントフレームワークを提案し、それらの特性を十分に活用し、より正確で堅牢なビジュアル・セマンティック・プロジェクションを実現する。 大規模なMLZSLベンチマークデータセットであるNAS-WIDEとOpen-Images-v4の実験では、提案したGBE-MLZSLが、最先端の手法よりも大きなマージンを持つことを示した。
  論文  参考訳（メタデータ） (2023-09-02T12:07:21Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• UniVIP: A Unified Framework for Self-Supervised Visual Pre-training [50.87603616476038]
  単一中心オブジェクトまたは非調和データセット上で,汎用的な視覚表現を学習するための,新しい自己教師型フレームワークを提案する。 大規模実験により、非高調波COCOで事前訓練されたUniVIPは、最先端の転送性能を実現することが示された。 また、ImageNetのような単一中心オブジェクトのデータセットを利用でき、線形探索において同じ事前学習エポックでBYOLを2.5%上回る。
  論文  参考訳（メタデータ） (2022-03-14T10:04:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。