論文の概要: DRDN: Decoupled Representation Dynamic Network for From-Scratch ViT Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2607.01630v1
• Date: Thu, 02 Jul 2026 02:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.644122
• Title: DRDN: Decoupled Representation Dynamic Network for From-Scratch ViT Class-Incremental Learning
• Title（参考訳）: DRDN: ゼロスクラッチ型VTクラスインクリメンタルラーニングのための分離型表現動的ネットワーク
• Abstract要約: クラスインクリメンタルラーニング(CIL)のための動的拡張手法は、専用トークンや計算作業でタスク固有の知識を保護する。 我々は、主に現在のタスクデータに対する逐次トレーニングからのクロスタスクの混乱と、バックボーン内の過度に最適化された共有表現の2つの課題を特定する。 本稿では,2つのメカニズムを通じてこれらの課題に対処する解答表現動的ネットワーク(DRDN)を提案する。
• 参考スコア（独自算出の注目度）: 6.097306160389619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic expansion methods for class-incremental learning (CIL) protect task-specific knowledge by growing dedicated tokens or subnetworks, yet our analyses suggest that classification supervision alone does not sufficiently preserve task-agnostic shared backbone representations over long incremental sequences. We identify two intertwined challenges: cross-task confusion from sequential training on predominantly current-task data, which biases decision boundaries toward recent tasks; and under-optimized shared representations in the backbone that cap long-term discriminability as tasks accumulate. We propose the Decoupled Representation Dynamic Network (DRDN), which addresses these challenges via two orthogonal mechanisms. For shared backbone representations, DRDN continuously applies masked image modeling (MIM) at every incremental step, with reconstruction gradients routed exclusively through the backbone, encouraging it to retain general visual structure beyond class-discriminative cues. For task-specific discrimination, DRDN employs hierarchical task token expansion across all transformer layers, with a modified per-task attention rule that reduces inter-task interference. We support this design with accuracy degradation analysis and cross-task confusion rate measurements. In the from-scratch ViT CIL setting (no external pretraining), DRDN consistently improves over strong token-expansion baselines with comparable backbone scale. On CIFAR100-B0 (10 steps), DRDN achieves 77.19% average accuracy, outperforming DKT by 1.36 points and DyTox by 3.53 points, with an advantage that grows at longer incremental sequences. Multi-seed validation confirms stability (+/-0.31%). The MIM decoder is active only during training, adding no inference-time parameters or computation.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)のための動的拡張手法は,専用トークンやサブネットを成長させることでタスク固有の知識を保護しているが,分類管理だけではタスク非依存のバックボーン表現を長いインクリメンタルシークエンスで表すのに十分ではないことを示唆している。 主に現在のタスクデータに対するシーケンシャルトレーニングからのクロスタスクの混乱は、意思決定境界を最近のタスクに偏らせるものであり、タスクが蓄積されるにつれて、長期的な差別性を抑えるような、バックボーン内の共有表現を過度に最適化する。 本稿では,2つの直交機構を用いてこれらの課題に対処する解答表現動的ネットワーク(DRDN)を提案する。 共有バックボーン表現では、DRDNは段階的なステップごとにマスク付き画像モデリング(MIM)を連続的に適用し、再構築勾配はバックボーンを通してのみルートされる。 タスク固有の識別のために、DRDNはすべてのトランスフォーマー層にわたって階層的なタスクトークン拡張を採用し、タスク間の干渉を減らすようにタスクごとのアテンションルールを変更している。 我々はこの設計を精度劣化解析とクロスタスク混乱率測定で支援する。 オフスクラッチのViT CIL設定(外部事前トレーニングなし)では、DRDNは、強力なトークン拡張ベースラインを同等のバックボーンスケールで一貫して改善する。 CIFAR100-B0(10ステップ)では、DRDNは平均精度77.19%に達し、DKTを1.36ポイント、DyToxを3.53ポイント上回る。 マルチシード検証は安定性(+/-0.31%)を確認する。 MIMデコーダはトレーニング中のみアクティブであり、推論時間パラメータや計算は追加しない。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• IntHQ: Task-Interactive Hierarchical Query on Dual-Stream Representations for Generative Recommendation [20.546679348797905]
  既存のマルチタスクは本質的に3倍の崩壊を起こしやすいことを示す。 InHQは3つのコンポーネントを持つマルチタスク生成レコメンデータで、1つの崩壊を緩和する。 オフライン評価では、InHQは4つの代表的なタスクヘッド構成の下で、競争力のあるバックボーンを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-10T14:13:47Z)
• Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
  LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。 この定式化がモデリングのボトルネックを生み出すことを示す。 コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
  論文  参考訳（メタデータ） (2026-05-14T18:30:10Z)
• StrLoRA: Towards Streaming Continual Visual Instruction Tuning for MLLMs [9.912407135967836]
  本稿では,タスクの動的混合を含むデータチャンクのストリームからモデルを学習するStreaming CVIT(StrCVIT)を紹介する。 StrCVITでは、モデルは同時に新しい能力を取得し、繰り返し能力を強化し、忘れなければならない。 正規化された2段階のエキスパートルーティングフレームワークであるStrLoRAを提案する。
  論文  参考訳（メタデータ） (2026-05-08T06:16:37Z)
• Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation [22.025559532445012]
  両端最適化戦略を利用したSTAMP(Semantic Trimming and Auxiliary Multi-step Prediction)を提案する。 パブリックなAmazonおよび大規模産業データセットの実験では、STAMPは1.23--1.38$times$ speedupと17.2%--54.7%のVRAM削減を達成した。
  論文  参考訳（メタデータ） (2026-04-07T02:00:23Z)
• CORAL: Scalable Multi-Task Robot Learning via LoRA Experts [49.759823970016974]
  実世界のロボット工学におけるビジョン・ランゲージ・アクション(VLA)モデルは、コアマルチタスク学習の課題を露呈する。 タスク毎に個別の完全なチェックポイントを維持することは、しばしばストレージとデプロイメントの禁止である。 主にマルチタスク干渉を軽減するために設計されたバックボーンおよび非依存のフレームワークであるCORALを提案する。
  論文  参考訳（メタデータ） (2026-03-10T07:28:41Z)
• GRID: Scalable Task-Agnostic Prompt-Based Continual Learning for Language Models [22.312673721170388]
  Prompt-based continual learning (CL)は、タスクシーケンス全体にわたって大きな言語モデル(LLM)を適用するためのパラメータ効率のよいアプローチを提供する。 既存のほとんどのメソッドはタスク認識推論に依存し、タスク固有のプロンプトの集合を維持する。 これらの課題に対処するために設計された統合フレームワークであるGRIDを提示する。
  論文  参考訳（メタデータ） (2025-07-19T19:15:03Z)
• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。