論文の概要: In-Context Learning can Perform Continual Learning Like Humans

• arxiv url: http://arxiv.org/abs/2509.22764v1
• Date: Fri, 26 Sep 2025 15:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.864636
• Title: In-Context Learning can Perform Continual Learning Like Humans
• Title（参考訳）: インテクスト学習は人間のような継続的な学習を実現することができる
• Authors: Liuwang Kang, Fan Wang, Shaoshan Liu, Hung-Chyun Chou, Chuan Lin, Ning Ding,
• Abstract要約: 大規模言語モデル(LLM)は、パラメータを更新することなく、ICL(In-context Learning)を介して新しいタスクに適応することができる。 マルチタスク環境におけるICLの保持特性について検討し,それを文脈内連続学習(ICCL)に拡張する。 ICCLは、人間に類似した方法で分散プラクティスの恩恵を受けており、維持のための「スイートスポット」の間隔を一貫して明らかにしている。
• 参考スコア（独自算出の注目度）: 12.499724976235534
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) can adapt to new tasks via in-context learning (ICL) without parameter updates, making them powerful learning engines for fast adaptation. While extensive research has examined ICL as a few-shot learner, whether it can achieve long-term retention and cross-task knowledge accumulation when multitasks arrive sequentially remains underexplored. Motivated by human memory studies, we investigate the retention characteristics of ICL in multitask settings and extend it to in-context continual learning (ICCL), where continual learning ability emerges through task scheduling and prompt rearrangement. Experiments on Markov-Chain benchmarks demonstrate that, for specific large-language models, ICCL benefits from distributed practice (DP) in a manner analogous to humans, consistently revealing a spacing "sweet spot" for retention. Beyond retention performance, we propose a human-retention similarity metric to quantify how closely a continual-learning (CL) method aligns with human retention dynamics. Using this metric, we show that linear-attention models such as MAMBA and RWKV exhibit particularly human-like retention patterns, despite their retention performance lagging behind that of Transformer-based LLMs. Overall, our results establish ICCL as both cognitively plausible and practically effective, providing an inference-only CL paradigm that mitigates catastrophic forgetting and addresses the stability-plasticity dilemma in conventional CL methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、パラメータを更新せずにコンテキスト内学習(ICL)を介して新しいタスクに適応できるため、高速適応のための強力な学習エンジンとなる。 大規模な研究はICLを数発の学習者として検討しているが、マルチタスクが連続して到着した場合には、長期保持とクロスタスク知識の蓄積を達成できるかどうかはまだ未定である。 人間の記憶研究により、マルチタスク環境におけるICLの保持特性を調査し、タスクスケジューリングと迅速な再配置によって連続学習能力が出現するICCL(In-context Continuousal Learning)に拡張する。 Markov-Chainベンチマークの実験では、特定の大規模言語モデルに対して、ICCLは分散プラクティス(DP)から、人間と類似した方法で恩恵を受けており、保持のための間隔が一貫して"スイートスポット"であることが示されている。 保持性能以外にも,継続学習(CL)手法が人間の保持動態とどの程度密接に一致しているかを定量化するために,人間の保持類似度尺度を提案する。 この測定値を用いて, トランスフォーマーを用いたLLMよりも遅延した保持性能にもかかわらず, MAMBA や RWKV などの線形アテンションモデルが特に人間のような保持パターンを示すことを示す。 全体として,ICCLは認知学的に妥当かつ実用的に有効であり,従来のCL法では,破滅的な忘れ込みを緩和し,安定性・塑性ジレンマに対処する推論のみのCLパラダイムを提供する。

関連論文リスト

• Mind the Gap: Preserving and Compensating for the Modality Gap in CLIP-Based Continual Learning [11.50324946279326]
  コントラスト言語-画像事前訓練モデル(CLIP)は、様々な下流タスクに強い能力を示す。 視覚言語事前学習モデルの微調整におけるモダリティギャップの変化を分析する。 クラス増分学習におけるCLIPの性能を向上する単純なMG-CLIPを提案する。
  論文  参考訳（メタデータ） (2025-07-12T02:28:42Z)
• Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling [37.36879079951306]
  大規模言語モデル(LLM)は文脈学習(ICL)を示す ICLは自然言語のタスクやドメインに対して高速な適応を提供するが、テキスト以外のモダリティに対しては、その出現は簡単ではない。 ICLの重要な要素として、トレーニングデータ列における正確なトークン反復を同定する。 我々は、様々なビジュアルデータセットのためのICL機能をアンロックし、より困難な脳波分類タスクを、数ショットの学習システムで実行します。
  論文  参考訳（メタデータ） (2025-01-09T09:45:05Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
  In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。 既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。 LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-21T08:06:10Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。