論文の概要: Continuous Latent Contexts Enable Efficient Online Learning in Transformers

• arxiv url: http://arxiv.org/abs/2605.09867v1
• Date: Mon, 11 May 2026 01:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.463465
• Title: Continuous Latent Contexts Enable Efficient Online Learning in Transformers
• Title（参考訳）: 変圧器における効率的なオンライン学習を可能にする連続潜時文脈
• Authors: Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia,
• Abstract要約: 本研究では,オンライン学習をより効果的に実現するために,連続潜在コンテキストトークンがトランスフォーマーに適合するかどうかを検討する。 我々は,マルチカリキュラムの目的を用いて,潜時文脈を持つ小型GPT-2型変圧器を訓練する。 この結果から,連続潜伏文脈は,オンライン学習アルゴリズムを実装する上で,変圧器の簡易かつ効果的な持続状態となることが示唆された。
• 参考スコア（独自算出の注目度）: 3.078846190842589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit a strong capacity for in-context learning: Given labeled examples, they can generate good predictions without parameter updates. However, many interactive settings go beyond static prediction to online decision-making, in which effective behavior demands adaptation over long multi-turn horizons in response to feedback, and efficient algorithms in these domains must use compact representations of what they have learned. Recently, continuous transformer architectures with latent chain of thought have shown promise for offline iterative tasks such as directed graph-reachability. Motivated by this, we study whether continuous latent context tokens equip transformers to more effectively realize online learning. We give explicit constructions of constant-depth transformers that implement two foundational online decision-making procedures -- the weighted majority algorithm and $Q$-learning -- by storing their algorithmic state as linear combinations of feature embeddings, using a small number of latent context tokens. We further train a small GPT-2-style transformer with latent contexts using a multi-curriculum objective that does not directly supervise the latent states. On long synthetic online prediction sequences, this model outperforms larger and more complex LLMs, including Qwen-3-14B and DeepSeek-V3. Our results suggest that continuous latent contexts provide a simple and effective persistent state for transformers to implement online learning algorithms.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、コンテキスト内学習の強力な能力を示している。 しかし、多くのインタラクティブな設定は静的な予測からオンライン意思決定に留まらず、フィードバックに応答して、効果的な行動要求が長いマルチターン地平線に適応し、これらの領域の効率的なアルゴリズムは、彼らが学んだことをコンパクトに表現する必要がある。 近年、遅延連鎖を持つ連続トランスフォーマーアーキテクチャは、有向グラフの到達可能性のようなオフライン反復的なタスクを約束している。 そこで我々は,オンライン学習をより効果的に実現するために,連続潜在コンテキストトークンがトランスフォーマーに適合するかどうかを考察した。 少数の潜在コンテキストトークンを使用して,アルゴリズム状態を特徴埋め込みの線形結合として格納することにより,オンライン意思決定の基本的な手順である重み付き多数決アルゴリズムと$Q$-learningの2つを実装する定数深度変換器を明示的に構築する。 さらに、潜時状態を直接監視しない多変数目的を用いて、潜時文脈を持つ小型GPT-2型変圧器を訓練する。 長い合成オンライン予測シーケンスでは、このモデルはQwen-3-14BやDeepSeek-V3など、より大きく複雑なLCMよりも優れています。 この結果から,連続潜伏文脈は,オンライン学習アルゴリズムを実装する上で,変圧器の簡易かつ効果的な持続状態となることが示唆された。

関連論文リスト

• Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
  教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。 UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。 本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T08:53:27Z)
• Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking? [36.5272157173876]
  マルチオブジェクト追跡 (MOT) は, 追跡と検出を分離したオンラインパラダイムにおいて, 短期的な関連性を示した。 本稿では、トラジェクトリグラフの概念を概観し、それらを有向非巡回グラフとして表現することで、新しい視点を提案する。 オンラインMOTの短時間・長期追跡におけるTransformerの有効性を検証するために,PuTR(Concise Pure Transformer)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:44:46Z)
• Transformers for Supervised Online Continual Learning [11.270594318662233]
  オンライン連続学習に変換器のコンテキスト内学習機能を活用する手法を提案する。 本手法は,画像位置定位のための大規模実世界ベンチマークであるCLOCにおいて,過去の最先端結果よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-03-03T16:12:20Z)
• Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context [44.949726166566236]
  非線形変換器は自然に関数空間の勾配降下を実装することを学習する。 また、非線形活性化の最適選択は、学習すべき関数のクラスに自然に依存していることも示している。
  論文  参考訳（メタデータ） (2023-12-11T17:05:25Z)
• Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining [25.669038513039357]
  本稿では,テキスト内強化学習のための教師付き事前学習を理論的に分析する枠組みを提案する。 ReLUに着目した変換器は、最適に近いオンライン強化学習アルゴリズムを効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T17:55:02Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。