論文の概要: Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2605.26110v1
• Date: Mon, 25 May 2026 17:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.65852
• Title: Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning
• Title（参考訳）: Prism: スケーラブルなマルチモーダルインストラクションチューニングのためのプラグイン再現型インフラストラクチャ
• Abstract要約: MLLM(Multimodal Large Language Models)は、多種多様なタスクを命令チューニングを通じて統一的な命令追従フレームワークに再構成することで、汎用性を実現する。 その重要性は増しているが、現在のMCITの研究は厳しい工学的ボトルネックによって妨げられている。 MCIT研究用に特別に設計されたプラグイン再現可能なPrismを紹介する。
• 参考スコア（独自算出の注目度）: 16.21619173438734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) achieve versatility by reformulating diverse tasks into a unified instruction-following framework via instruction tuning. However, real-world deployment requires continuous adaptation to emerging tasks, motivating Multimodal Continual Instruction Tuning (MCIT). Despite its growing importance, current MCIT research is hindered by severe engineering bottlenecks. Existing methods are typically implemented by directly modifying the base MLLM codebase, which imposes substantial implementation overhead and yields method-specific architectures that severely limit code reuse and fair comparison. To address this, we introduce Prism, a plug-in reproducible codebase specifically designed for scalable MCIT research. It separates algorithmic development from the backbone implementation via a lightweight plugin registration mechanism, enabling new strategies to be integrated as independent plugins without modifying the underlying MLLM codebase, thereby eliminating structural fragmentation and accelerating method development. Prism natively supports widely used large-scale training pipeline, thereby enabling reproducible and scalable MCIT experimentation. Code is available at https://github.com/LAMDA-CL/Prism.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、多種多様なタスクを命令チューニングを通じて統一的な命令追従フレームワークに再構成することで、汎用性を実現する。 しかし、現実のデプロイメントには、マルチモーダル・インストラクション・チューニング(MCIT)を動機とする、新興タスクへの継続的適応が必要である。 その重要性は増しているが、現在のMCITの研究は厳しい工学的ボトルネックによって妨げられている。 既存のメソッドは通常、MLLMコードベースを直接修正することで実装され、実装のオーバーヘッドが大きくなり、コードの再利用と公正な比較を著しく制限するメソッド固有のアーキテクチャが得られます。 そこで我々は,スケーラブルMCIT研究用に設計されたプラグイン再現可能なコードベースであるPrismを紹介した。 軽量なプラグイン登録機構を通じてバックボーン実装からアルゴリズム開発を分離し、基盤となるMLLMコードベースを変更することなく、新たな戦略を独立したプラグインとして統合し、構造的断片化を排除し、メソッド開発を加速する。 Prismは広く使われている大規模トレーニングパイプラインをネイティブにサポートし、再現可能でスケーラブルなMCIT実験を可能にする。 コードはhttps://github.com/LAMDA-CL/Prismで公開されている。

関連論文リスト

• MetaInfer: A Knowledge Only LLM Inference Engine Generator SKILL Toolbox [0.3581211034057412]
  本稿では,LLM-as-Compiler(LLM-as-Compiler)アプローチであるmetainferを提案する。 LLM駆動のマルチエージェントコラボレーションシステムは,契約知識ベースと組み合わせて,コンパクトな推論フレームワークを自動生成する。
  論文  参考訳（メタデータ） (2026-07-14T15:22:48Z)
• Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations [53.53864188270018]
  大規模言語モデル(LLM)には高度なレコメンデーションシステム(RS)がある。 LLMのモジュラリティを明示的に制御するための MARC を提案する。 MARCは大規模な商用検索広告シナリオにおけるオンラインA/Bテストで2.82%のeCPMリフトを達成した。
  論文  参考訳（メタデータ） (2026-04-20T12:08:58Z)
• ThinkGen: Generalized Thinking for Visual Generation [97.19923474851987]
  ThinkGenは、さまざまな世代のシナリオでChain-of-Thought(CoT)推論を明示的に活用する、思考駆動のビジュアル生成フレームワークである。 本稿では,MLLMとDiTモジュール間の強化学習を交互に行う,分離可能なGRPOベースのトレーニングパラダイムを提案する。 実験の結果、ThinkGenは複数の世代ベンチマークで堅牢で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-29T16:08:50Z)
• VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
  VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。 我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。 モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
  論文  参考訳（メタデータ） (2025-09-01T01:45:18Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Efficient Multi-modal Long Context Learning for Training-free Adaptation [96.21248144937627]
  本稿では,マルチモーダル長文脈学習(EMLoC)について紹介する。 モデル入力に直接デモ例を埋め込む。 長いコンテキストのマルチモーダル入力をコンパクトでタスク固有のメモリ表現に凝縮する。
  論文  参考訳（メタデータ） (2025-05-26T10:49:44Z)
• Modularization is Better: Effective Code Generation with Modular Prompting [9.955541341324007]
  本稿では,大規模言語モデルのコード生成性能を向上させるため,MoTと呼ばれる新しいプロンプト手法を提案する。 MoTはモジュール化の原則を利用して、複雑なプログラミング問題をより小さく独立した推論ステップに分解する。 MLRグラフを使用して推論プロセスを構築し、階層的に推論ステップを編成する。
  論文  参考訳（メタデータ） (2025-03-16T12:23:23Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。