論文の概要: Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2605.26110v1
• Date: Mon, 25 May 2026 17:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.65852
• Title: Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning
• Title（参考訳）: Prism: スケーラブルなマルチモーダルインストラクションチューニングのためのプラグイン再現型インフラストラクチャ
• Authors: Jun-Tao Tang, Yu-Cheng Shi, Zhen-Hao Xie, Da-Wei Zhou,
• Abstract要約: MLLM(Multimodal Large Language Models)は、多種多様なタスクを命令チューニングを通じて統一的な命令追従フレームワークに再構成することで、汎用性を実現する。 その重要性は増しているが、現在のMCITの研究は厳しい工学的ボトルネックによって妨げられている。 MCIT研究用に特別に設計されたプラグイン再現可能なPrismを紹介する。
• 参考スコア（独自算出の注目度）: 16.21619173438734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) achieve versatility by reformulating diverse tasks into a unified instruction-following framework via instruction tuning. However, real-world deployment requires continuous adaptation to emerging tasks, motivating Multimodal Continual Instruction Tuning (MCIT). Despite its growing importance, current MCIT research is hindered by severe engineering bottlenecks. Existing methods are typically implemented by directly modifying the base MLLM codebase, which imposes substantial implementation overhead and yields method-specific architectures that severely limit code reuse and fair comparison. To address this, we introduce Prism, a plug-in reproducible codebase specifically designed for scalable MCIT research. It separates algorithmic development from the backbone implementation via a lightweight plugin registration mechanism, enabling new strategies to be integrated as independent plugins without modifying the underlying MLLM codebase, thereby eliminating structural fragmentation and accelerating method development. Prism natively supports widely used large-scale training pipeline, thereby enabling reproducible and scalable MCIT experimentation. Code is available at https://github.com/LAMDA-CL/Prism.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、多種多様なタスクを命令チューニングを通じて統一的な命令追従フレームワークに再構成することで、汎用性を実現する。 しかし、現実のデプロイメントには、マルチモーダル・インストラクション・チューニング(MCIT)を動機とする、新興タスクへの継続的適応が必要である。 その重要性は増しているが、現在のMCITの研究は厳しい工学的ボトルネックによって妨げられている。 既存のメソッドは通常、MLLMコードベースを直接修正することで実装され、実装のオーバーヘッドが大きくなり、コードの再利用と公正な比較を著しく制限するメソッド固有のアーキテクチャが得られます。 そこで我々は,スケーラブルMCIT研究用に設計されたプラグイン再現可能なコードベースであるPrismを紹介した。 軽量なプラグイン登録機構を通じてバックボーン実装からアルゴリズム開発を分離し、基盤となるMLLMコードベースを変更することなく、新たな戦略を独立したプラグインとして統合し、構造的断片化を排除し、メソッド開発を加速する。 Prismは広く使われている大規模トレーニングパイプラインをネイティブにサポートし、再現可能でスケーラブルなMCIT実験を可能にする。 コードはhttps://github.com/LAMDA-CL/Prismで公開されている。

関連論文リスト

• ThinkGen: Generalized Thinking for Visual Generation [97.19923474851987]
  ThinkGenは、さまざまな世代のシナリオでChain-of-Thought(CoT)推論を明示的に活用する、思考駆動のビジュアル生成フレームワークである。 本稿では,MLLMとDiTモジュール間の強化学習を交互に行う,分離可能なGRPOベースのトレーニングパラダイムを提案する。 実験の結果、ThinkGenは複数の世代ベンチマークで堅牢で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-29T16:08:50Z)
• VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
  VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。 我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。 モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
  論文  参考訳（メタデータ） (2025-09-01T01:45:18Z)
• Efficient Multi-modal Long Context Learning for Training-free Adaptation [96.21248144937627]
  本稿では,マルチモーダル長文脈学習(EMLoC)について紹介する。 モデル入力に直接デモ例を埋め込む。 長いコンテキストのマルチモーダル入力をコンパクトでタスク固有のメモリ表現に凝縮する。
  論文  参考訳（メタデータ） (2025-05-26T10:49:44Z)
• Modularization is Better: Effective Code Generation with Modular Prompting [9.955541341324007]
  本稿では,大規模言語モデルのコード生成性能を向上させるため,MoTと呼ばれる新しいプロンプト手法を提案する。 MoTはモジュール化の原則を利用して、複雑なプログラミング問題をより小さく独立した推論ステップに分解する。 MLRグラフを使用して推論プロセスを構築し、階層的に推論ステップを編成する。
  論文  参考訳（メタデータ） (2025-03-16T12:23:23Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。