論文の概要: Scalable In-Context Reinforcement Learning with Recurrent Algorithm Distillation

• arxiv url: http://arxiv.org/abs/2609.35333v1
• Date: Mon, 28 Sep 2026 14:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:26:46.878152
• Title: Scalable In-Context Reinforcement Learning with Recurrent Algorithm Distillation
• Title（参考訳）: リカレントアルゴリズム蒸留によるスケーラブルなインコンテキスト強化学習
• Abstract要約: アルゴリズム蒸留(AD)は、トランスフォーマーが明示的に重みを更新することなく、文脈内強化学習を行うことの顕著な能力を示した。 このボトルネックに対処するために、リカレントアルゴリズム蒸留(RAD)を提案する。 RADは、拡張された相互作用履歴をコンパクトな潜在トークンに蒸留する圧縮変換器(Compression Transformer)と、自動回帰的にアクションを生成するAD変換器(AD Transformer)という、デュアルコンポーネントアーキテクチャを採用している。
• 参考スコア（独自算出の注目度）: 8.451366098163634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithm Distillation (AD) has demonstrated the remarkable ability of Transformers to perform in-context reinforcement learning without explicit weight updates. However, capturing long-term learning progress necessitates expansive context windows, which incur prohibitive memory costs and limit scalability in complex, long-horizon tasks. To address this bottleneck, we propose Recurrent Algorithm Distillation (RAD). RAD employs a dual-component architecture: a Compression Transformer that distills extended interaction histories into compact latent tokens, and an AD Transformer that auto-regressively generates actions using a hybrid context of these compressed memories and recent transitions. By maintaining a fixed-size latent buffer, RAD decouples the effective history length from computational complexity, functionally providing the model with a long-horizon memory. Empirical evaluations across diverse environments demonstrate that RAD matches the asymptotic performance of standard AD with significantly reduced context window sizes, offering a scalable solution for efficient in-context decision-making.
• Abstract（参考訳）: アルゴリズム蒸留(AD)は、トランスフォーマーが明示的に重みを更新することなく、文脈内強化学習を行うことの顕著な能力を示した。 しかし、長期学習の進捗を捉えるには、拡張性のあるコンテキストウインドウが必要であり、これは禁止されたメモリコストを発生させ、複雑な長期タスクのスケーラビリティを制限する。 このボトルネックに対処するために、リカレントアルゴリズム蒸留(RAD)を提案する。 RADは、拡張された相互作用履歴をコンパクトな潜在トークンに蒸留する圧縮変換器と、これらの圧縮された記憶と最近の遷移のハイブリッドコンテキストを用いて自動回帰的にアクションを生成するAD変換器という、二重構成のアーキテクチャを採用している。 固定サイズの潜在バッファを維持することで、RADは計算の複雑さから有効履歴長を分離し、長い水平メモリで機能的にモデルを提供する。 様々な環境における実証的な評価は、RADが標準ADの漸近的性能とコンテキストウィンドウサイズを著しく削減し、効率的なコンテキスト内意思決定のためのスケーラブルなソリューションを提供することを示した。

関連論文リスト

• DiTango: Cost-Effective Parallel Diffusion Generation with Selective Attention State Reuse [9.472841051080133]
  AI生成コンテンツの最近の進歩により、高解像度の長期コンテンツ生成に拡散変換器(DiT)が広く採用されている。 我々は、DiT生成のための効率的な並列フレームワークであるDiTangoを提案する。 DiTangoは、最大1.9倍のエンドツーエンドと3.2倍のアテンションスピードアップを実現し、マルチノード設定でのニア線形スケーリングを実現している。
  論文  参考訳（メタデータ） (2026-07-17T05:56:42Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• Developing Adaptive Context Compression Techniques for Large Language Models (LLMs) in Long-Running Interactions [0.0]
  大規模言語モデル(LLM)は、コンテキスト長、メモリ飽和、計算オーバーヘッドの増大により、長時間にわたる相互作用の間、性能劣化を経験することが多い。 本稿では,重要メモリ選択,コヒーレンス・インテリジェンス・フィルタリング,動的予算配分を統合し,コンテキスト成長を制御しながら,重要な会話情報を保持する適応型コンテキスト圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-31T02:57:48Z)
• Learning to Optimize Joint Source and RIS-assisted Channel Encoding for Multi-User Semantic Communication Systems [22.34536051545108]
  マルチユーザ・セマンティック・コミュニケーションのための統合ソースおよび再構成可能なインテリジェント・サーフェス(RIS)支援チャネルエンコーディング(JSRE)フレームワークを提案する。 ディープニューラルネットワーク(DNN)は、すべてのユーザに対してセマンティック機能を抽出し、RISはチャネル性を提供し、統一されたセマンティックエンコーディング・デコーディング設計を可能にする。 本研究の目的は,ユーザのスケジューリング,RISの位相シフト,意味圧縮比を最適化することで,ユーザ間のセマンティックコミュニケーションの全体的なエネルギー効率を最大化することである。
  論文  参考訳（メタデータ） (2026-03-22T07:22:56Z)
• APCE: Adaptive Progressive Context Expansion for Long Context Processing [0.5274824616260646]
  本稿では,処理において最も重要な入力チャンクを選択するためのコンテキスト認識ソリューションとしてAPCEを提案する。 入力を直接操作することで、APCEは基盤となるハードウェアやスケーラブルな環境への厳格な依存から切り離される。 実験により,APCEの総密度ベースラインに比べて,APCEの総和性能は優れていた。
  論文  参考訳（メタデータ） (2025-10-14T01:26:36Z)
• ResFormer: All-Time Reservoir Memory for Long Sequence Classification [4.298381633106637]
  シーケンス分類は、感情分析、意図検出、トピック分類といったタスクにおける言語パターンの理解と分類に欠かせない。 トランスフォーマーベースのモデルは、最先端のパフォーマンスを達成しているにもかかわらず、2次時間とメモリの複雑さのために固有の制限がある。 提案するResFormerは,カスケード手法を用いて,コンテキスト長を効率的にモデル化するニューラルネットワークアーキテクチャである。
  論文  参考訳（メタデータ） (2025-09-28T21:20:49Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.05657299071648]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。