論文の概要: Abstraction as a Memory-Efficient Inductive Bias for Continual Learning

• arxiv url: http://arxiv.org/abs/2603.17198v1
• Date: Tue, 17 Mar 2026 22:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.43477
• Title: Abstraction as a Memory-Efficient Inductive Bias for Continual Learning
• Title（参考訳）: 連続学習のためのメモリ効率の良いインダクティブバイアスとしての抽象化
• Authors: Elnaz Rahmati, Nona Ghazizadeh, Zhivar Sourati, Nina Rouhani, Morteza Dehghani,
• Abstract要約: 抽象強化トレーニング(AAT:Abstraction-Augmented Training)は、サンプル間で共有される潜在関係構造を捉えるために、損失レベルの修正を奨励するモデルである。 AATは厳格なオンラインデータストリームでの学習を安定化し、リプレイバッファを不要にする。 以上の結果から,AAT は強経験リプレイ(ER)のベースラインに匹敵する性能を達成できた。
• 参考スコア（独自算出の注目度）: 2.8602273445853967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The real world is non-stationary and infinitely complex, requiring intelligent agents to learn continually without the prohibitive cost of retraining from scratch. While online continual learning offers a framework for this setting, learning new information often interferes with previously acquired knowledge, causes forgetting and degraded generalization. To address this, we propose Abstraction-Augmented Training (AAT), a loss-level modification encouraging models to capture the latent relational structure shared across examples. By jointly optimizing over concrete instances and their abstract representations, AAT introduces a memory-efficient inductive bias that stabilizes learning in strictly online data streams, eliminating the need for a replay buffer. To capture the multi-faceted nature of abstraction, we introduce and evaluate AAT on two benchmarks: a controlled relational dataset where abstraction is realized through entity masking, and a narrative dataset where abstraction is expressed through shared proverbs. Our results show that AAT achieves performance comparable to or exceeding strong experience replay (ER) baselines, despite requiring zero additional memory and only minimal changes to the training objective. This work highlights structural abstraction as a powerful, memory-free alternative to ER.
• Abstract（参考訳）: 現実の世界は非定常的で無限に複雑であり、知的エージェントはスクラッチから再トレーニングすることの禁止コストなしで継続的に学習する必要がある。 オンライン連続学習は、この設定のためのフレームワークを提供するが、新しい情報を学ぶことは、しばしば以前取得した知識に干渉し、忘れられ、一般化が低下する。 これを解決するために、我々は、サンプル間で共有される潜在関係構造を捉えるために、損失レベルの修正モデルである抽象強化訓練(AAT)を提案する。 具体的なインスタンスとその抽象表現を最適化することにより、AATは、厳密なオンラインデータストリームでの学習を安定化し、リプレイバッファを必要としないメモリ効率の高い帰納バイアスを導入する。 本稿では,抽象の多面的な性質を捉えるために,エンティティマスキングによって抽象化を実現する制御された関係データセットと,共有された証明によって抽象化が表現される物語データセットという,2つのベンチマーク上でのAATの導入と評価を行う。 以上の結果から,AAT は学習目標の変更を最小限に抑えながら,ER ベースラインに匹敵する性能を達成できることが示唆された。 この作業は、ERの強力なメモリフリー代替として構造的抽象化を強調している。

関連論文リスト

• Knowledge Restoration-driven Prompt Optimization: Unlocking LLM Potential for Open-Domain Relational Triplet Extraction [4.01163688152329]
  三重項のオープンマイニングは、事前に定義されたスキーマなしで構造化された知識の基礎となる。 既存の手法では曖昧さの脆弱性が示され、しばしば誤った抽出パターンが永続的である。 本稿では,Large Language Models (LLM) の抽出能力を継続的に改善するための知識再構成駆動型プロンプト最適化(KRPO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-21T14:42:13Z)
• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Remember and Recall: Associative-Memory-based Trajectory Prediction [25.349986959111757]
  我々は,人間の顕著な学習能力に触発された,フラグメンテッドメモリに基づく軌道予測(FMTP)モデルを提案する。 FMTPモデルは、情報冗長性を低減し、計算効率を向上させるために離散表現を用いる。 言語モデルに基づく高度な推論エンジンを開発し、これらの離散表現間の連想規則を深く学習する。
  論文  参考訳（メタデータ） (2024-10-03T04:32:21Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)
• Online Continual Learning on Sequences [9.603184477806954]
  オンライン連続学習(オンライン連続学習、英: Online Continuousal Learning、OCL)とは、トレーニングサンプルを再考することなく、連続したデータストリームから時間とともに学習できるシステムである。 OCLに対処する機械学習モデルは、新しい入力ストリームから学習する際に、隠れた表現が破壊されるか、完全に上書きされるような、テキスト触媒的忘れを軽減する必要がある。
  論文  参考訳（メタデータ） (2020-03-20T05:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。