論文の概要: Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

• arxiv url: http://arxiv.org/abs/2606.25342v1
• Date: Wed, 24 Jun 2026 03:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.201029
• Title: Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention
• Title（参考訳）: 変圧器を用いた生涯インテクスト学習はパラメトリックな注意形態を必要とする
• Abstract要約: コンテキスト内学習を生涯設定に拡張することは、AIエージェントの継続的な学習の実践的な解決策である、と我々は主張する。 メモリ容量の制限やコストのかかるオンライン更新により、現在、パラメトリックな注意が生涯学習に欠落している点を強調します。
• 参考スコア（独自算出の注目度）: 5.104181562775778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong continual learning remains an obstacle on the path to human-like intelligence. Modern transformers show sparks of intelligence with in-context learning. The quadratic nature of attention, however, prohibits transformers from performing this process on arbitrarily long sequences. In this work, we argue that extending in-context learning to lifelong settings is a practical solution for continual learning in AI agents. In particular, we argue that \emph{parametric forms of attention} are needed to understand a lifetime of context with transformers on a fixed hardware budget. These attention mechanisms learn the relationship between keys and their associated values at test-time with parametric regression. Our generalization of parametric approaches (linear attention, state-space models, fast weight programmers, and test-time training layers) contrasts with nonparametric counterparts like softmax attention. They replace the ever-growing key-value cache with an online-trainable neural network, maintaining a constant memory footprint. We highlight how parametric attention currently fall short of lifelong learning due to limited memory capacity or costly online updates. To address these issues, we pose a set of open questions with novel insights to guide the field toward long-horizon agents.
• Abstract（参考訳）: 生涯にわたる継続的な学習は、人間のような知性への道のりの障害として残っている。 現代のトランスフォーマーは、文脈内学習による知性の火花を示しています。 しかし、注意の二次的性質は、トランスフォーマーが任意の長いシーケンスでこのプロセスを実行することを禁止している。 この研究では、コンテキスト内学習を生涯設定に拡張することは、AIエージェントの継続的な学習の実践的な解決策である、と論じる。 特に,固定ハードウェア予算におけるトランスフォーマーとの終生の文脈を理解するためには,<emph{parametric form of attention} が必要であると論じる。 これらの注意機構は、パラメトリック回帰を用いて、テスト時にキーと関連する値の関係を学習する。 我々のパラメトリックアプローチ(線形アテンション、状態空間モデル、高速ウェイトプログラマ、テストタイムトレーニング層)の一般化は、ソフトマックスアテンションのような非パラメトリックアプローチとは対照的である。 成長を続けるキーバリューキャッシュをオンライントレーニング可能なニューラルネットワークに置き換え、メモリフットプリントを一定に保つ。 メモリ容量の制限やコストのかかるオンライン更新により、現在、パラメトリックな注意が生涯学習に欠落している点を強調します。 これらの問題に対処するために、我々は、長い水平エージェントに向けての分野を導くために、新しい洞察を持つオープンな質問のセットを提示する。

関連論文リスト

• Fine-Tuning Dynamics of In-Context Factual Recall in Transformers [63.1821972855273]
  インコンテキスト学習 -- プロンプトで与えられた例に基づいてタスクを実行する -- は、大きな言語モデルに現れている。 非コンテキスト学習が事実的知識のリコールをどのように活用するかを研究する。 IC-リコールデータを用いた1層トランスの微調整特性の解析を行った。
  論文  参考訳（メタデータ） (2026-05-26T23:47:26Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Scaling Context Requires Rethinking Attention [5.923968936360167]
  変換器もサブクワッドラティックアーキテクチャも、長いシーケンス長でのトレーニングには適していない、と我々は主張する。 本稿では,パラメータと独立に状態サイズを調整可能な線形コストシーケンスモデリングのためのアーキテクチャ層であるパワーアテンションを紹介する。 パワーアテンションの文脈内学習実験により,これらのモデルが長期学習における指数的アテンションと線形アテンションの両方を支配していることが示された。
  論文  参考訳（メタデータ） (2025-07-06T04:15:34Z)
• Transformers for Supervised Online Continual Learning [11.270594318662233]
  オンライン連続学習に変換器のコンテキスト内学習機能を活用する手法を提案する。 本手法は,画像位置定位のための大規模実世界ベンチマークであるCLOCにおいて,過去の最先端結果よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T16:12:20Z)
• Eureka-Moments in Transformers: Multi-Step Tasks Reveal Softmax Induced Optimization Problems [27.681141346132286]
  多段階決定タスクに直面する場合の変圧器の訓練損失の迅速化について検討した。 合成タスクを用いて問題を詳細に研究するが、言語モデリングや文脈内学習にも性能の飛躍が観察できる。 我々は,言語モデリングとICLの訓練を改善するために,合成多段階タスクを改善するためのコネクションを見つけ,その方法を示す。
  論文  参考訳（メタデータ） (2023-10-19T17:55:06Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• SViTT: Temporal Learning of Sparse Video-Text Transformers [65.93031164906812]
  SViTTは,多フレーム推論が可能な疎ビデオテキストアーキテクチャであり,注目度の高い単純変換器よりもはるかに低コストである。 SViTTは、自己注意におけるトークン間のクエリキー通信を制限するエッジ空間と、非形式的視覚トークンを破棄する空間の2つの形式を採用している。
  論文  参考訳（メタデータ） (2023-04-18T08:17:58Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。