論文の概要: Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection
- arxiv url: http://arxiv.org/abs/2603.19145v1
- Date: Thu, 19 Mar 2026 17:01:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:06.284838
- Title: Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection
- Title（参考訳）: 誘導ランダム投影による事前学習モデルに基づく連続表現学習の強化
- Authors: Ruilin Li, Heming Zou, Xiufeng Yan, Zheming Liang, Jie Yang, Chenliang Li, Xue Yang,
- Abstract要約: ランダム射影層(RPL)に基づく連続表現学習における最近のパラダイムは、事前学習モデル(PTM)上に構築する際の優れた性能を示している。
本稿では, PTM 表現を下流タスクに適応させるために, ランダムベースを段階的に目標に整列する原理的データ誘導機構を提案する。
これにより、コンパクトだが表現力のあるRPLの構築が容易になり、解析更新の数値安定性が向上する。
- 参考スコア（独自算出の注目度）: 28.793060466977337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent paradigms in Random Projection Layer (RPL)-based continual representation learning have demonstrated superior performance when building upon a pre-trained model (PTM). These methods insert a randomly initialized RPL after a PTM to enhance feature representation in the initial stage. Subsequently, a linear classification head is used for analytic updates in the continual learning stage. However, under severe domain gaps between pre-trained representations and target domains, a randomly initialized RPL exhibits limited expressivity under large domain shifts. While largely scaling up the RPL dimension can improve expressivity, it also induces an ill-conditioned feature matrix, thereby destabilizing the recursive analytic updates of the linear head. To this end, we propose the Stochastic Continual Learner with MemoryGuard Supervisory Mechanism (SCL-MGSM). Unlike random initialization, MGSM constructs the projection layer via a principled, data-guided mechanism that progressively selects target-aligned random bases to adapt the PTM representation to downstream tasks. This facilitates the construction of a compact yet expressive RPL while improving the numerical stability of analytic updates. Extensive experiments on multiple exemplar-free Class Incremental Learning (CIL) benchmarks demonstrate that SCL-MGSM achieves superior performance compared to state-of-the-art methods.
- Abstract（参考訳）: ランダム射影層(RPL)に基づく連続表現学習における近年のパラダイムは、事前学習モデル(PTM)上に構築する際の優れた性能を示している。
これらの手法は、PTM後にランダムに初期化されたRPLを挿入し、初期における特徴表現を強化する。
その後、連続学習段階における解析更新に線形分類ヘッドを用いる。
しかし、事前訓練された表現と対象ドメインの間の深刻なドメインギャップの下では、ランダムに初期化されたRPLは大きなドメインシフトの下で限られた表現性を示す。
RPL次元の大規模化は表現性を向上させることができるが、不条件の特徴行列を誘導し、線形ヘッドの再帰的解析更新を不安定にする。
そこで我々は,SCL-MGSM(Stochastic Continual Learner with MemoryGuard Supervisory Mechanism)を提案する。
ランダム初期化とは異なり、MGSMはプロジェクション層を原理化されたデータ誘導機構で構成し、ターゲットに整列したランダムベースを段階的に選択し、PTM表現を下流タスクに適応させる。
これにより、コンパクトだが表現力のあるRPLの構築が容易になり、解析更新の数値安定性が向上する。
CIL(Exemplar-free Class Incremental Learning)ベンチマークの大規模な実験により、SCL-MGSMは最先端の手法に比べて優れた性能を発揮することが示された。
関連論文リスト
- Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。
ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
論文 参考訳（メタデータ） (2026-02-02T00:50:53Z) - LLMs as High-Dimensional Nonlinear Autoregressive Models with Attention: Training, Alignment and Inference [15.493230983626281]
トランスフォーマーアーキテクチャに基づく大規模言語モデル(LLM)は通常、アーキテクチャコンポーネントやトレーニング手順のコレクションを通して記述される。
注意に基づく高次元非線形自己回帰モデルとしてLSMを定式化する。
論文 参考訳（メタデータ） (2026-01-31T00:37:53Z) - Generative Actor Critic [74.04971271003869]
Generative Actor Critic (GAC) は、軌道上での関節分布の生成モデル学習として、テキスト政治評価を反映して、シーケンシャルな意思決定を分離する新しいフレームワークである。
Gym-MuJoCoとMaze2Dベンチマークの実験では、GACの強いオフライン性能と、最先端の手法と比較してオフラインからオフラインへの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-12-25T06:31:11Z) - Principled RL for Diffusion LLMs Emerges from a Sequence-Level Perspective [85.06838178922791]
強化学習(RL)は自己回帰言語モデルに非常に効果的であることが証明されている。
しかし、これらの手法を拡散大言語モデル(dLLM)に適応させることは、根本的な課題を提起する。
本稿では,全シーケンス生成を単一アクションとして扱い,ELBOを抽出可能なシークエンスレベル確率プロキシとして利用する,原則的RLフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-03T13:05:32Z) - Spatiotemporal Forecasting as Planning: A Model-Based Reinforcement Learning Approach with Generative World Models [45.523937630646394]
本研究では,モデルベース強化学習における新たなパラダイムであるSFP予測・アズ・プランニング(SFP)を提案する。
SFPは、多様な高時間将来の状態をシミュレートし、「想像に基づく」環境シミュレーションを可能にする新しい世界モデルを構築している。
論文 参考訳（メタデータ） (2025-10-05T03:57:38Z) - Enhancing Semantic Segmentation with Continual Self-Supervised Pre-training [11.897717409259492]
自己教師付き学習(SSL)は、基礎モデルをトレーニングするための中心的なパラダイムとして登場した。
GLAREは,下流セグメンテーション性能の向上を目的とした,新規な自己教師型事前学習タスクである。
論文 参考訳（メタデータ） (2025-09-22T14:11:02Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。
ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。
実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
論文 参考訳（メタデータ） (2025-03-16T00:25:13Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Koopman Kernel Regression [6.116741319526748]
クープマン作用素理論は線形時間不変(LTI)ODEによる予測のキャラクタリゼーションに有効なパラダイムであることを示す。
我々は、LTI力学系への変換のみにまたがる、普遍的なクープマン不変核再生ヒルベルト空間(RKHS)を導出する。
実験では、Koopman演算子やシーケンシャルデータ予測器と比較して予測性能が優れていることを示した。
論文 参考訳（メタデータ） (2023-05-25T16:22:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。