論文の概要: SPREAD: Subspace Representation Distillation for Lifelong Imitation Learning

• arxiv url: http://arxiv.org/abs/2603.08763v1
• Date: Mon, 09 Mar 2026 03:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:23.734277
• Title: SPREAD: Subspace Representation Distillation for Lifelong Imitation Learning
• Title（参考訳）: SPREAD:生涯模擬学習のための部分空間表現蒸留
• Abstract要約: 生涯の模倣学習における重要な課題は、エージェントが事前知識を維持しながら専門家のデモンストレーションから新しいスキルを習得できるようにすることである。 生の特徴空間におけるL2-ノルム特徴マッチングに依存する既存の蒸留法は,ノイズや高次元変動に敏感である。 低ランク部分空間内のタスク間でポリシー表現を整合させるために特異値分解を利用する幾何保存フレームワークSPREADを導入する。
• 参考スコア（独自算出の注目度）: 11.023696977257883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key challenge in lifelong imitation learning (LIL) is enabling agents to acquire new skills from expert demonstrations while retaining prior knowledge. This requires preserving the low-dimensional manifolds and geometric structures that underlie task representations across sequential learning. Existing distillation methods, which rely on L2-norm feature matching in raw feature space, are sensitive to noise and high-dimensional variability, often failing to preserve intrinsic task manifolds. To address this, we introduce SPREAD, a geometry-preserving framework that employs singular value decomposition (SVD) to align policy representations across tasks within low-rank subspaces. This alignment maintains the underlying geometry of multimodal features, facilitating stable transfer, robustness, and generalization. Additionally, we propose a confidence-guided distillation strategy that applies a Kullback-Leibler divergence loss restricted to the top-M most confident action samples, emphasizing reliable modes and improving optimization stability. Experiments on the LIBERO, lifelong imitation learning benchmark, show that SPREAD substantially improves knowledge transfer, mitigates catastrophic forgetting, and achieves state-of-the-art performance.
• Abstract（参考訳）: 生涯模倣学習(LIL)における重要な課題は、エージェントが事前知識を維持しながら専門家のデモンストレーションから新しいスキルを習得できるようにすることである。 これは、シーケンシャルラーニング全体にわたってタスク表現の基盤となる低次元多様体と幾何学的構造を保存する必要がある。 生の特徴空間におけるL2-ノルム特徴マッチングに依存する既存の蒸留法は、ノイズや高次元変動に敏感であり、しばしば本質的なタスク多様体の保存に失敗する。 この問題に対処するため,SPREADは特異値分解(SVD)を用いて,低ランク部分空間内のタスク間でポリシー表現を整合させる幾何学保存フレームワークである。 このアライメントはマルチモーダル特徴の基本的な幾何学を維持し、安定移動、堅牢性、一般化を促進する。 さらに,Kulback-Leibler分散損失を最上位の信頼性動作サンプルに限定し,信頼性モードを強調し,最適化安定性を向上させる信頼性誘導蒸留手法を提案する。 生涯の模倣学習ベンチマークであるLIBEROの実験は、SPREADが知識伝達を大幅に改善し、破滅的な忘れを軽減し、最先端のパフォーマンスを達成することを示した。

関連論文リスト

• TASSO: TAsk-Specific Subspace Optimization for Continual Learning of Vision-Language Models [16.338978271294973]
  ネットワークの可塑性を確保しつつ、遅延空間形状を効率的に保存する新しいパラダイムであるTASSOを紹介する。 我々はこれを,部分空間学習と幾何学的知識蒸留という2つの補完的手法で実現した。 マルチドメインタスクインクリメンタルおよびクラスインクリメンタル学習ベンチマークにおけるCLIPビジョン言語モデルの結果は、最先端メソッドよりも明らかに改善されている。
  論文  参考訳（メタデータ） (2026-08-21T12:18:14Z)
• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery [0.9137554315375919]
  ニューラルネットワークのシーケンシャルなタスク学習において、破滅的な忘れは依然として主要なハードルである。 本稿では,タスク特化専門家と分散型外乱型ゲートキーパーを用いた構造パラメータ分離を実現するシリコンネイティブなモジュールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-04-15T19:48:40Z)
• Lifelong Imitation Learning with Multimodal Latent Replay and Incremental Adjustment [13.225857657465992]
  逐次的タスク間での継続的なポリシー改善を可能にする、生涯にわたる模倣学習フレームワークを導入する。 我々のアプローチは、マルチモーダルな潜在空間で完全に操作することで、従来の経験リプレイとは切り離されている。 提案手法は,AUCの10-17ポイントゲインを達成し,従来の先行手法に比べて最大65%の遅延を低減した。
  論文  参考訳（メタデータ） (2026-03-11T16:13:19Z)
• Self-Consolidation for Self-Evolving Agents [51.94826934403236]
  大規模言語モデル(LLM)エージェントは静的システムとして機能し、生涯にわたる相互作用を通じて進化する能力に欠ける。 相補的進化機構を導入したLLMエージェントのための新しい自己進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-02T11:16:07Z)
• Beyond Retention: Orchestrating Structural Safety and Plasticity in Continual Learning for LLMs [2.5202137607634407]
  経験リプレイ(ER)は破滅的忘れに対する標準的な対策である。 ERはコード生成のような脆弱で構造化されたドメインに対して負の転送を引き起こす。 我々は,確立した知識構造に対する数学的根拠を持つ「安全保証」として,オルソゴン部分空間ウェイクアップ(OSW)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T08:28:02Z)
• Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
  顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。 過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
  論文  参考訳（メタデータ） (2025-12-22T04:30:11Z)
• Semi-Supervised Contrastive Learning with Orthonormal Prototypes [1.478364697333309]
  埋め込みが低次元空間に収束する次元崩壊は、大きな挑戦となる。 クラス埋め込みにおける線形部分空間の形成を促進することにより,次元崩壊を防止することを目的とした,新しい半教師付き損失関数CLOPを提案する。 CLOPは画像分類やオブジェクト検出タスクの性能を向上させるとともに,学習速度やバッチサイズにまたがる安定性も向上することを示す。
  論文  参考訳（メタデータ） (2025-11-27T13:26:59Z)
• SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting [68.00007494819798]
  継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-28T13:57:56Z)
• SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning [62.18315467642528]
  MCIT (Multimodal Continual Instruction Tuning) は,Multimodal Large Language Models (MLLM) が,悲惨なことを忘れずに,新たなタスクを段階的に学習できるようにすることを目的としている。 表面的な忘れは、モデルの知識が真に失われるのではなく、以前のタスクに対する応答が期待されたフォーマットから逸脱している場合を指す。 対照的に、本質的な忘れは、モデルが正しくフォーマットされているが、事実的に不正確な答えを提供し、真の知識の喪失を示す状況を指す。
  論文  参考訳（メタデータ） (2025-05-05T09:09:41Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。