論文の概要: ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2609.37889v1
• Date: Tue, 29 Sep 2026 15:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.716894
• Title: ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning
• Title（参考訳）: ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning
• Abstract要約: マルチモーダル・インストラクション・チューニングの目的は,マルチモーダルな大規模言語モデルがシーケンシャルタスクから新たな機能を獲得できるようにすることである。 既存の方法は、パラメータの更新を制限したり、タスク固有の適応を分離することで、破滅的な忘れを軽減します。 本稿では,外部知識を活用した検索誘導型フレームワークReCAPを提案する。
• 参考スコア（独自算出の注目度）: 53.43775325949729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal continual instruction tuning (MCIT) aims to enable multimodal large language models to acquire new capabilities from sequential tasks while preserving previously learned knowledge. Existing methods primarily mitigate catastrophic forgetting by constraining parameter updates or separating task-specific adaptations. However, continual adaptation can also benefit from external knowledge that provides domain-specific information and reusable reasoning patterns for solving diverse instructions. For example, to answer "How many red cubes are to the left of the sphere?", domain knowledge can provide relevant concepts about objects and spatial relations, while reasoning knowledge can specify ordered operations such as object recognition, spatial filtering, and counting. Despite this potential, how to leverage external knowledge for continual adaptation remains largely unexplored in existing MCIT methods. To this end, we propose ReCAP, a retrieval-guided framework that leverages external knowledge to guide capability reuse during continual adaptation. At each continual stage, ReCAP uses external search and an LLM to incrementally build a knowledge base of domain, reasoning, and format knowledge based on the current-stage training data. For each instruction, retrieved domain knowledge guides generation, while retrieved reasoning knowledge selects and orders capability modules to form an instance-specific capability path. As these capability modules are reused across stages, subsequent adaptation can overwrite previously learned parameters. To enable stable cross-stage reuse, ReCAP introduces adaptive subspace recycling, which parameterizes reusable capability modules with shared bases and stage-specific cores, protects historically important directions while recycling residual capacity. Extensive experiments on MCIT benchmarks show that ReCAP achieves SOTA performance.
• Abstract（参考訳）: マルチモーダル・インストラクション・チューニング(MCIT)は,従来学習されていた知識を保ちながら,シーケンシャルなタスクから,多モーダルな大規模言語モデルを新たな能力を得ることを可能にすることを目的としている。 既存の方法は、パラメータの更新を制限したり、タスク固有の適応を分離することで、破滅的な忘れを軽減します。 しかし、継続的な適応はまた、多様な命令を解決するためにドメイン固有の情報と再利用可能な推論パターンを提供する外部知識の恩恵を受けることができる。 例えば、「球体の左に何個の赤い立方体があるか?」と答えるために、ドメイン知識はオブジェクトと空間関係に関する関連する概念を提供するが、推論知識はオブジェクト認識、空間フィルタリング、カウントといった順序付けられた操作を指定できる。 このような可能性にもかかわらず、外部の知識を連続的な適応に活用する方法は、既存のMCIT手法では明らかにされていない。 そこで本研究では,外部知識を活用した検索誘導型フレームワークReCAPを提案する。 各段階において、ReCAPは外部検索とLCMを使用して、現在の段階のトレーニングデータに基づいて、ドメインの知識ベース、推論、フォーマット知識を段階的に構築する。 各命令に対して、検索されたドメイン知識は生成をガイドし、検索された推論知識は、インスタンス固有の機能パスを形成するために機能モジュールを選択し、命令する。 これらの機能モジュールはステージ毎に再利用されるため、その後の適応は以前に学んだパラメータを上書きすることができる。 安定的なクロスステージ再利用を実現するため、ReCAPはアダプティブサブスペースリサイクルを導入し、再利用可能な機能モジュールを共有ベースとステージ固有のコアでパラメータ化し、残容量をリサイクルしながら歴史的に重要な方向を保護する。 MCITベンチマークの大規模な実験は、ReCAPがSOTA性能を達成することを示している。

関連論文リスト

• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
  大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。 大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。 本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T13:40:46Z)
• Composite Learning Units: Generalized Learning Beyond Parameter Updates to Transform LLMs into Adaptive Reasoners [0.0]
  連続学習が可能な学習者へ推論器を変換する複合学習ユニット(CLU)を導入する。 CLUは、動的知識リポジトリの保守と進化を可能にするアーキテクチャ上に構築されている。 我々は暗号推論タスクを通じてCLUの有効性を実証し、フィードバックを通じて理解を継続的に進化させ、隠れた変換規則を明らかにする。
  論文  参考訳（メタデータ） (2024-10-09T02:27:58Z)
• Structured prompt interrogation and recursive extraction of semantics (SPIRES): A method for populating knowledge bases using zero-shot learning [1.3963666696384924]
  SPIRES(Structured Prompt Interrogation and Recursive extract of Semantics)を提案する。 SPIRESは、ゼロショット学習(ZSL)と、柔軟なプロンプトから応答する汎用語彙を実行し、情報を特定のスキーマに返却するLarge Language Models(LLM)の機能に依存している。 現在のSPIRES精度は、既存のリレーショナル抽出(RE)メソッドの中間範囲に匹敵するが、簡単にカスタマイズでき、柔軟性があり、重要なことに、トレーニングデータがない場合に新しいタスクを実行する能力がある。
  論文  参考訳（メタデータ） (2023-04-05T19:07:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。