論文の概要: LoRA-Loop: Closing the Synthetic Replay Cycle for Continual VLM Learning
- arxiv url: http://arxiv.org/abs/2507.13568v2
- Date: Tue, 29 Jul 2025 03:29:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 14:59:51.37088
- Title: LoRA-Loop: Closing the Synthetic Replay Cycle for Continual VLM Learning
- Title（参考訳）: LoRA-Loop:連続VLM学習のための合成再生サイクルのクローン化
- Authors: Kaihong Wang, Donghyun Kim, Margrit Betke,
- Abstract要約: 視覚言語モデルに対する継続的な学習は、合成再生によって顕著な性能を達成した。
しかし、現実世界のダウンストリームアプリケーションは、しばしば、ジェネレータによってキャプチャされないドメイン固有のニュアンスときめ細かいセマンティックスを示す。
フリーズされた安定拡散モデルにタスク固有の低ランクアダプタを注入するLoRA強化合成再生フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.385906975878628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning for vision-language models has achieved remarkable performance through synthetic replay, where samples are generated using Stable Diffusion to regularize during finetuning and retain knowledge. However, real-world downstream applications often exhibit domain-specific nuances and fine-grained semantics not captured by generators, causing synthetic-replay methods to produce misaligned samples that misguide finetuning and undermine retention of prior knowledge. In this work, we propose a LoRA-enhanced synthetic-replay framework that injects task-specific low-rank adapters into a frozen Stable Diffusion model, efficiently capturing each new task's unique visual and semantic patterns. Specifically, we introduce a two-stage, confidence-based sample selection: we first rank real task data by post-finetuning VLM confidence to focus LoRA finetuning on the most representative examples, then generate synthetic samples and again select them by confidence for distillation. Our approach integrates seamlessly with existing replay pipelines-simply swap in the adapted generator to boost replay fidelity. Extensive experiments on the Multi-domain Task Incremental Learning (MTIL) benchmark show that our method outperforms previous synthetic-replay techniques, achieving an optimal balance among plasticity, stability, and zero-shot capability. These results demonstrate the effectiveness of generator adaptation via LoRA for robust continual learning in VLMs.
- Abstract（参考訳）: 視覚言語モデルの継続的な学習は、合成再生によって顕著なパフォーマンスを達成し、そこでは、サンプルを安定拡散を用いて生成し、微調整と知識の保持を行う。
しかし、現実世界の下流のアプリケーションは、ジェネレータが捉えないドメイン固有のニュアンスやきめ細かいセマンティックスをしばしば示し、合成再生法は、微調整を誤ったり、事前知識の保持を損なうようなミスアライメントされたサンプルを生成する。
本研究では,タスク固有の低ランクアダプタを凍結した安定拡散モデルに注入し,各タスクの視覚的および意味的パターンを効率的にキャプチャするLoRA拡張合成再生フレームワークを提案する。
具体的には,2段階の信頼性に基づくサンプル選択について紹介する:まず,精細後のVLM信頼度を用いて実タスクデータをランク付けし,LoRA微調整を最も代表的な例に焦点を合わせ,次いで合成サンプルを生成し,蒸留の信頼性でそれらを選択する。
我々のアプローチは既存のリプレイパイプラインとシームレスに統合され、適応されたジェネレータをスワップするだけでリプレイの忠実度が向上する。
MTIL(Multi- domain Task Incremental Learning)ベンチマークによる大規模実験により,本手法は従来の合成再生技術よりも優れ,可塑性,安定性,ゼロショット能力の最適なバランスが得られた。
これらの結果から,VLMの連続学習におけるLORAによるジェネレータ適応の有効性が示された。
関連論文リスト
- Hybrid Autoregressive-Diffusion Model for Real-Time Streaming Sign Language Production [0.0]
本稿では,自己回帰モデルと拡散モデルを組み合わせて手話生成(SLP)モデルを生成するハイブリッドアプローチを提案する。
細かな体の動きを捉えるため,異なるアーティストから細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。
また、連立レベルの信頼スコアを利用してポーズ生成過程を動的にガイドする信頼意識型因果注意機構も導入する。
論文 参考訳（メタデータ） (2025-07-12T01:34:50Z) - Taming Flow Matching with Unbalanced Optimal Transport into Fast Pansharpening [10.23957420290553]
本稿では,一段階の高品位パンシャーピングを実現するための最適輸送フローマッチングフレームワークを提案する。
OTFMフレームワークは、パンシャーピング制約の厳格な遵守を維持しつつ、シミュレーション不要なトレーニングとシングルステップ推論を可能にする。
論文 参考訳（メタデータ） (2025-03-19T08:10:49Z) - Synthetic Data is an Elegant GIFT for Continual Vision-Language Models [52.343627275005026]
GIFTはVision-Language Modelsにおける破滅的な忘れを克服するための、新しい連続的な微調整手法である。
我々は、事前学習と下流タスクデータの両方を再現するために、事前学習した拡散モデルを用いる。
提案手法は,様々な設定において従来手法よりも常に優れていた。
論文 参考訳（メタデータ） (2025-03-06T09:09:18Z) - Exploring Representation-Aligned Latent Space for Better Generation [86.45670422239317]
生成性能を改善するために,セマンティックな事前情報を統合するReaLSを導入する。
本研究では、ReaLSでトレーニングされたDETとSiTが、FID測定値の15%改善を実現することを示す。
拡張されたセマンティック潜在空間は、セグメンテーションや深さ推定のようなより知覚的な下流タスクを可能にする。
論文 参考訳（メタデータ） (2025-02-01T07:42:12Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting [21.04933334040135]
本稿では,大規模言語モデルに組み込まれたRE知識を十分に活用する新しい手法であるSelf-Promptingフレームワークを紹介する。
我々のフレームワークは3段階の多様性アプローチを用いてLSMを誘導し、スクラッチから特定の関係をカプセル化する複数の合成サンプルを生成する。
ベンチマークデータセットを用いた実験により,既存のLCMベースのゼロショットRE法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-10-02T01:12:54Z) - Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。
自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-02T16:11:23Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳（メタデータ） (2024-02-22T04:10:57Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳（メタデータ） (2023-10-19T06:37:32Z) - MRHER: Model-based Relay Hindsight Experience Replay for Sequential Object Manipulation Tasks with Sparse Rewards [11.79027801942033]
モデルベース Relay Hindsight Experience Replay (MRHER) と呼ばれる新しいモデルベースRLフレームワークを提案する。
MRHERは、継続的なタスクを複雑さを増してサブタスクに分解し、以前のサブタスクを使用して、その後のタスクの学習をガイドする。
MRHERは、ベンチマークタスクにおいて最先端のサンプル効率を示し、RHERの13.79%、14.29%を上回っている。
論文 参考訳（メタデータ） (2023-06-28T09:51:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。