論文の概要: MoRe: Modular Representations for Principled Continual Representation Learning on Sequantial Data

• arxiv url: http://arxiv.org/abs/2605.14364v2
• Date: Mon, 18 May 2026 20:09:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.351553
• Title: MoRe: Modular Representations for Principled Continual Representation Learning on Sequantial Data
• Title（参考訳）: MoRe:シークエンシャルデータに基づく原則付き連続表現学習のためのモジュール表現
• Authors: Jiaqi Sun, Boyang Sun, Mohamad Rasmy, Xiangchen Song, Kun Zhang,
• Abstract要約: 継続的な学習は、以前に取得した知識を保持しながら、新しいデータに適応するモデルを必要とする。 既存のアプローチでは、モデルパラメータやアーキテクチャを教師付きタスク固有の方法で変更することで、この問題に対処しています。 アーキテクチャレベルで割り当てるのではなく,表現自体のモジュラリティを識別するフレームワークであるMoReを提案する。
• 参考スコア（独自算出の注目度）: 17.462860448981953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning requires models to adapt to new data while preserving previously acquired knowledge. At its core, this challenge can be viewed as principled one-step adaptation: incorporating new information with minimal interference to existing representations. Most existing approaches address this challenge by modifying model parameters or architectures in a supervised, task-specific manner. However, the underlying issue is representational: tasks require distinct yet structured representations that can be selectively updated without disrupting representations, while structure should reflect intrinsic organization in the data rather than task boundaries. In sequential data, time-delayed dependencies provide a natural signal for uncovering this organization, revealing how fundamental representations give rise to more specific ones. Inspired by the modular organization of the human brain, we propose MoRe, a framework that identifies modularity in the representation itself rather than allocating it at the architectural level. MoRe decomposes knowledge into a hierarchy of fundamental and specific modules with identifiability guarantees, enabling principled module reuse, alignment, and expansion during adaptation while preserving old modules by construction. Experiments on synthetic benchmarks and real-world LLM activations demonstrate interpretable hierarchical structure, improved plasticity-stability trade-offs, suggesting MoRe as a principled foundation for continual adaptation
• Abstract（参考訳）: 継続的な学習は、以前に取得した知識を保持しながら、新しいデータに適応するモデルを必要とする。 この課題の中核は、既存の表現に最小限の干渉で新しい情報を組み込むという、原則化されたワンステップ適応であると見なすことができる。 既存のアプローチのほとんどは、モデルパラメータやアーキテクチャを教師付きタスク固有の方法で変更することで、この問題に対処しています。 しかし、その根底にある問題は表現である: タスクには、表現を中断することなく選択的に更新できる明確な構造的表現が必要であり、一方、構造は、タスク境界ではなく、データ内の固有の組織を反映すべきである。 シーケンシャルなデータでは、時間遅れの依存関係が、この組織を明らかにする自然なシグナルとなり、より具体的な表現が生まれます。 人間の脳のモジュラー組織にインスパイアされたMoReは、アーキテクチャレベルで割り当てるのではなく、表現自体のモジュラリティを識別するフレームワークである。 MoReは知識を基本的なモジュールと特定のモジュールの階層に分解し、基本モジュールの再利用、アライメント、拡張を可能にする。 合成ベンチマークと実世界のLCM活性化の実験は、解釈可能な階層構造を示し、可塑性-安定トレードオフを改善し、MoReが継続的適応の原則となることを示唆している。

関連論文リスト

• Pre-Forgettable Models: Prompt Learning as a Native Mechanism for Unlearning [9.512928441517811]
  ファンデーションモデルは、様々なモダリティやタスクにまたがる堅牢で伝達可能な表現を可能にすることによって、マルチメディア分析を変革してきた。 リトレーニング、アクティベーション編集、蒸留を含む従来の未学習のアプローチは、しばしば高価で脆弱で、リアルタイムまたは継続的な進化するシステムに不適である。 本稿では,知識の獲得と除去を1つの学習段階内に統一する,プロンプトベースの学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-05T13:28:04Z)
• Integrated Structural Prompt Learning for Vision-Language Models [15.002501540565781]
  本稿では、視覚言語モデル(VLM)のための統合構造プロンプト(ISP)を提案する。 ISPは、学習可能なプロンプトと凍結トークンの間の構造関係をモデル化するために、自己構造的および相互構造的プロンプトモジュールを導入している。 ISPは最先端の手法に対して競争力を発揮する。
  論文  参考訳（メタデータ） (2025-07-08T04:59:58Z)
• Intervening to learn and compose disentangled representations [8.452837716541705]
  本稿では,非絡み付き潜在構造を同時に学習する任意表現型生成モデルの学習手法を提案する。 これは、任意の複雑な既存のデコーダブロックのヘッドに単純なデコーダのみのモジュールを追加することで実現される。 因果的グラフィカルモデルへの介入の概念に触発されて、我々のモジュールはトレーニング中にアーキテクチャを選択的に修正し、異なるコンテキストでコンパクトなジョイントモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2025-07-07T08:30:27Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Structure by Architecture: Structured Representations without Regularization [31.75200752252397]
  生成モデルなどの下流タスクにオートエンコーダを用いた自己教師型表現学習の課題について検討する。 我々はアグレッシブな正規化を必要とせずに構造化表現を学習できる新しいオートエンコーダアーキテクチャを設計する。 これらのモデルが、生成、絡み合い、外挿を含む様々な下流タスクの結果を改善する表現をいかに学習するかを実証する。
  論文  参考訳（メタデータ） (2020-06-14T04:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。