論文の概要: Compressing Observation History into Agent Memory: Distilling Transformers into Recurrent Transformers

• arxiv url: http://arxiv.org/abs/2606.21562v1
• Date: Fri, 19 Jun 2026 15:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 12:42:59.989776
• Title: Compressing Observation History into Agent Memory: Distilling Transformers into Recurrent Transformers
• Title（参考訳）: 観測履歴をエージェントメモリに圧縮する:蒸留トランスをリカレントトランスに変換する
• Authors: Philippe Weinzaepfel, Christian Wolf, Bülent Mert Sariyildiz, Guillaume Bono, Gianluca Monaci,
• Abstract要約: 我々は、地図のないポーズ推定のような長距離ストリーミングビジョンとロボット工学の応用に焦点を当てる。 このギャップは、アーキテクチャ上の制約ではなく、これらのモデルが過去の情報を圧縮する方法の違いによるものである、と我々は主張する。 提案手法により,線形時間複雑度でリカレント潜伏型ロボットメモリのトレーニングが可能であり,フルヒストリー変換器の性能ギャップを著しく狭めることができることを示す。
• 参考スコア（独自算出の注目度）: 25.583827940095322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers are AI's workhorse with strong performance in modeling sequential data, but their computational cost becomes prohibitive when processing long sequences. We target long-horizon streaming vision and robotics applications like map-free pose estimation, where it is particularly impractical to store and maintain a history of observations. Recurrent Transformers address this limitation by maintaining fixed-size memory but their performance lags behind that of transformers operating over the full observation history. We argue that this gap does not stem from architectural limitations, but from differences in how these models learn to compress past information. Without access to an observation history, recurrent models must explicitly decide what to retain in memory at each step, a significantly harder learning problem. In this work, we propose a distillation approach that transfers the compression strategy of a classical full-history transformer to a recurrent variant. We enable this by designing a teacher model that explicitly compresses its observation history into a fixed-size bottleneck representation. By directly supervising the student's memory with this bottleneck representation, we align the two compression mechanisms. We show that this approach allows to train a recurrent latent robotic memory with linear-time complexity while substantially narrowing the performance gap to full-history transformers.
• Abstract（参考訳）: トランスフォーマーは、シーケンシャルデータのモデリングにおいて強力なパフォーマンスを持つAIのワークホースであるが、長いシーケンスを処理する場合、その計算コストは禁じられる。 我々は、特に観測履歴の保存と維持が不可能な、地図のないポーズ推定のような長距離ストリーミングビジョンとロボット工学の応用をターゲットにしている。 リカレントトランスフォーマーは、固定サイズのメモリを維持することでこの制限に対処するが、その性能はフル観測履歴上で動作しているトランスフォーマーよりも遅れている。 このギャップは、アーキテクチャ上の制約ではなく、これらのモデルが過去の情報を圧縮する方法の違いによるものである、と我々は主張する。 観測履歴にアクセスできない場合、再帰モデルは各ステップでメモリに保持すべきものを明示的に決定する必要がある。 本研究では,古典的フルヒストリー変圧器の圧縮戦略を再帰変圧器に伝達する蒸留手法を提案する。 我々は,観察履歴を固定サイズのボトルネック表現に明示的に圧縮する教師モデルを設計することで,これを実現した。 このボトルネック表現で生徒の記憶を直接監視することにより、2つの圧縮機構を整列する。 提案手法により,線形時間複雑度でリカレント潜伏型ロボットメモリのトレーニングが可能であり,フルヒストリー変換器の性能ギャップを著しく狭めることができることを示す。

関連論文リスト

• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Kinaema: a recurrent sequence model for memory and pose in motion [25.677034515160567]
  我々は,潜在的に大きなシーンで移動しながら,視覚的観察の流れを統合できる新しいモデルであるキナマとエージェントを導入する。 我々のモデルは観測履歴を明示的に保存しないので、文脈長に厳しい制約はない。 我々の大容量リカレントモデルでは、シーンの有用な表現を維持し、実際のエピソード開始前に観測されたゴールにナビゲートし、計算効率がよいことを示す。
  論文  参考訳（メタデータ） (2025-10-23T06:34:53Z)
• Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning [53.72709564555407]
  Memoは、強化学習のためのトランスフォーマーベースのアーキテクチャとトレーニングのレシピである。 トレーニング中のモデルの入力と周期的な要約トークンをインターリーブすることで、メモリの生成と検索を組み込む。 グリッドワールドメタRLベンチマークとマルチオブジェクトナビゲーションタスクにおけるMemoの有効性を,フォトリアリスティック屋内環境で実証する。
  論文  参考訳（メタデータ） (2025-10-22T16:24:47Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• Token Turing Machines [53.22971546637947]
  Token Turing Machines (TTM) はシーケンシャルな自己回帰型トランスフォーマーモデルである。 我々のモデルは、セミナルなニューラルチューリングマシンにインスパイアされ、以前の履歴を要約するトークンの集合からなる外部メモリを持つ。
  論文  参考訳（メタデータ） (2022-11-16T18:59:18Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。