論文の概要: Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning
- arxiv url: http://arxiv.org/abs/2603.12816v1
- Date: Fri, 13 Mar 2026 09:18:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:12.013186
- Title: Residual SODAP: Residual Self-Organizing Domain-Adaptive Prompting with Structural Knowledge Preservation for Continual Learning
- Title(参考訳): 残余SODAP:連続学習のための構造的知識保存による残余自己組織型ドメイン適応プロンプト
- Authors: Gyutae Oh, Jungwoo Bae, Jitae Shin,
- Abstract要約: 連続学習(CL)は、ドメイン増分学習(DIL)において悪化する破滅的な忘れ込みに苦しむ
本稿では,素早い表現適応と知識保存を共同で行うResidual SODAPを提案する。
我々のフレームワークは,$$-entmax sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sparse sresegration, データフリー蒸留と pseudo-feature replay, prompt-use-based drift ドリフト検出,および不確実性マルチ
- 参考スコア(独自算出の注目度): 1.3776222754296432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL) suffers from catastrophic forgetting, which is exacerbated in domain-incremental learning (DIL) where task identifiers are unavailable and storing past data is infeasible. While prompt-based CL (PCL) adapts representations with a frozen backbone, we observe that prompt-only improvements are often insufficient due to suboptimal prompt selection and classifier-level instability under domain shifts. We propose Residual SODAP, which jointly performs prompt-based representation adaptation and classifier-level knowledge preservation. Our framework combines $α$-entmax sparse prompt selection with residual aggregation, data-free distillation with pseudo-feature replay, prompt-usage--based drift detection, and uncertainty-aware multi-loss balancing. Across three DIL benchmarks without task IDs or extra data storage, Residual SODAP achieves state-of-the-art AvgACC/AvgF of 0.850/0.047 (DR), 0.760/0.031 (Skin Cancer), and 0.995/0.003 (CORe50).
- Abstract(参考訳): 連続学習(CL)は、タスク識別子が利用不可能で過去のデータが保存できないドメイン増分学習(DIL)において悪化する破滅的な忘れ込みに悩まされる。
プロンプトベースCL(PCL)は,凍結したバックボーンで表現を適応するが,ドメインシフト下での最適なプロンプト選択と分類器レベルの不安定さにより,プロンプトのみの改善が不十分であることが多い。
本稿では,素早い表現適応と分類器レベルの知識保存を共同で行うResidual SODAPを提案する。
提案フレームワークは,<sup>α$-entmax</sup>のスパース選択と残差集約,擬似機能リプレイによるデータフリー蒸留,即時ドリフト検出,不確実性を考慮したマルチロスバランスを組み合わせたものである。
タスクIDや余分なデータストレージを持たない3つのDILベンチマークで、Residual SODAPは最先端のAvgACC/AvgFの0.850/0.047(DR)、0.760/0.031(皮膚がん)、0.995/0.003(CORe50)を達成している。
関連論文リスト
- Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳(メタデータ) (2026-03-10T04:07:39Z) - InTAct: Interval-based Task Activation Consolidation for Continual Learning [8.228364777296195]
Intactは、パラメータを凍結したり過去のデータを保存したりすることなく、共有レイヤで機能的な振舞いを保存する。
そうすることで、Intactはパラメータ値を直接制限するのではなく、重要なニューロンの機能的役割を安定化する。
さまざまなドメイン-インクリメンタルベンチマークを通じて、InTActは表現のドリフトを一貫して削減し、パフォーマンスを向上する。
論文 参考訳(メタデータ) (2025-11-21T17:36:12Z) - Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。
LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。
従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
論文 参考訳(メタデータ) (2025-10-06T16:34:09Z) - ResAD++: Towards Class Agnostic Anomaly Detection via Residual Feature Learning [52.11294707895649]
本稿では,クラス非依存型異常検出(AD)の問題点について検討する。
目的は、ターゲットデータの再トレーニングや微調整をせずに、異なるドメインから様々な新しいクラスの異常を一般化して検出できる、クラスに依存しないADモデルをトレーニングすることである。
8つの実世界のADデータセットに関する総合的な実験は、ResAD++が新しいクラスで直接使用されると、素晴らしいAD結果が得られることを示した。
論文 参考訳(メタデータ) (2025-09-28T08:41:05Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:56:20Z) - Dynamically Anchored Prompting for Task-Imbalanced Continual Learning [29.20115513597012]
既存の継続的な学習文献は、タスクがバランスの取れたデータストリームに到達するという強い前提に大きく依存している。
不均衡なタスクは、安定性と可塑性の間のトレードオフを制御するモデルの能力に大きく挑戦する。
本稿では、タスクストリーム内のシフトに動的に適応するための1つの一般的なプロンプトのみを保持するプロンプトベースの方法であるDynamically Anchored Prompting (DAP)を提案する。
論文 参考訳(メタデータ) (2024-04-23T03:52:44Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳(メタデータ) (2021-01-02T09:04:14Z) - Dual-Refinement: Joint Label and Feature Refinement for Unsupervised
Domain Adaptive Person Re-Identification [51.98150752331922]
Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。
オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。
本手法は最先端手法を大きなマージンで上回っている。
論文 参考訳(メタデータ) (2020-12-26T07:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。