Fugu-MT 論文翻訳(概要): Provable Transformer Context Compression for In-Context Reinforcement Learning

論文の概要: Provable Transformer Context Compression for In-Context Reinforcement Learning

arxiv url: http://arxiv.org/abs/2610.20004v1
Date: Wed, 14 Oct 2026 11:21:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:16.12141
Title: Provable Transformer Context Compression for In-Context Reinforcement Learning
Title（参考訳）: インコンテキスト強化学習のための確率変換器コンテキスト圧縮
Abstract要約: トランスフォーマーはパラメータ更新なしでコンテキスト内強化学習を行うことができる。既存の理論的な構成は、しばしばサンプル化された遷移の数に応じて成長する文脈サイズを必要とする。このような学習を行う上で、本質的にどの程度のコンテキストが必要なのか? 共有線形デコーダでは、最初の$L$TD反復を正確に再現するために必要な最小コンテキスト次元は、サンプル遷移によって誘導されるクリロフ次元であることを示す。
参考スコア（独自算出の注目度）: 28.88341961200054
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformers can perform in-context reinforcement learning without parameter updates. However, existing theoretical constructions often require context sizes that grow with the number of sampled transitions, leading to increasing memory costs in large-scale problems. This raises a fundamental scalability question: how much context is intrinsically necessary to carry out such learning? We answer this question for fixed-policy TD evaluation. We show that, with a shared linear decoder, the minimum context dimension required to exactly reproduce the first $L$ TD iterates is the Krylov dimension induced by the sampled transitions. When the available context dimension $m$ falls below this threshold, exact reproduction is no longer possible. In this regime, we characterize the optimal approximation error and show that it decays as $Θ(γ^m\max\{1,1/(m(1-γ))\})$ where $γ$ is the discounting factor. Moving from representation complexity to actual memory cost, we characterize the optimal retained memory for exact continuous representations as $Θ(nk_L)$ and show experimentally that on a sampled task whose exact rank is full but whose numerical rank is small, a context accurate to $10^{-2}$ is $88.7\%$ smaller than the sparse sufficient statistics of TD. Finally, we establish the learnability of the shared executor through pretraining by proving global convergence of an auxiliary objective over effective attention parameters under suitable task diversity. Experiments across diverse TD evaluation problems validate parameter recovery and the predicted context--accuracy tradeoff.
Abstract（参考訳）: トランスフォーマーはパラメータ更新なしでコンテキスト内強化学習を行うことができる。しかし、既存の理論的構成では、サンプル化される遷移の数に応じて増大するコンテキストサイズを必要とすることが多く、大規模な問題ではメモリコストが増大する。このような学習を行う上で、本質的にどの程度のコンテキストが必要なのか? 我々は、固定政治TD評価について、この問題に答える。共有線形デコーダでは、最初の$L$TD反復を正確に再現するために必要な最小コンテキスト次元は、サンプル遷移によって誘導されるクリロフ次元であることを示す。利用可能なコンテキスト次元$m$がこのしきい値を下回ると、正確な再現は不可能になる。この状態において、最適近似誤差を特徴づけて、$γ$ が割引係数であるとき、$ γ(γ^m\max\{1,1/(m(1-γ))\})$ として崩壊することを示す。表現複雑性から実際のメモリコストへ移行し、正確な連続表現に対する最適な保持メモリを、$(nk_L)$と特徴づけ、正確なランクが完全だが数値ランクが小さいサンプルタスクの場合、文脈がTDのスパースな十分な統計値よりも8.7\%小さいことを実験的に示す。最後に、適切なタスク多様性の下での効果的な注意パラメータに対する補助目的のグローバル収束を証明し、事前学習を通じて共有実行者の学習可能性を確立する。多様なTD評価問題に対する実験は、パラメータ回復と予測された文脈-精度トレードオフを検証する。

論文の概要: Provable Transformer Context Compression for In-Context Reinforcement Learning

関連論文リスト