論文の概要: Adaptive state-action abstractions via rate-distortion

• arxiv url: http://arxiv.org/abs/2606.06123v1
• Date: Thu, 04 Jun 2026 13:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.801326
• Title: Adaptive state-action abstractions via rate-distortion
• Title（参考訳）: 速度歪みによる適応的状態-作用抽象化
• Authors: Fernando E. Rosas,
• Abstract要約: 強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
• 参考スコア（独自算出の注目度）: 52.25810164390199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When learning to walk, infants seem to address a coarse version of the problem first - stay upright, reach the caregiver - and refine it only when further practice at that resolution stops paying off. Reinforcement learning offers multiple techniques for building simple versions of complex tasks, but lacks general principles for how to dynamically adjust the granularity of these abstractions during learning. This paper proposes one such principle: refine the abstraction as soon as the learning error within it becomes comparable to the error induced by the abstraction itself. Here, we investigate one way of formalising this principle via a performance certificate that decomposes value error into two terms: a learning error bound captured by a Bellman residual, and an abstraction error bound given by a bisimulation metric. The resulting switching strategy is implemented by soft state-action abstractions built from rate-distortion principles, whose resolution along state and action axes can be continuously adjusted. We validate this construction in a range of tabular settings, showing that near-optimal performance can be achieved under substantial lossy compression of state and action information.
• Abstract（参考訳）: 歩くことを学ぶとき、幼児はまず問題の粗いバージョンに対処し、直立し、介護者にたどり着く。 強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供するが、学習中にこれらの抽象化の粒度を動的に調整する方法の一般的な原則は欠如している。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。 本稿では,値誤差をベルマン残差で捉えた学習誤差と,ビシミュレーション計量で与えられる抽象誤差の2つの項に分解する性能証明を用いて,この原理を定式化する方法について検討する。 結果として生じるスイッチング戦略は、状態と作用軸に沿った解像度を継続的に調整できるレート歪み原理から構築されたソフトな状態-作用抽象化によって実現される。 我々は,この構成を表形式で検証し,状態情報や行動情報のかなりの圧縮の下で,最適に近い性能が達成できることを実証した。

関連論文リスト

• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• A Theory of Abstraction in Reinforcement Learning [18.976500531441346]
  この論文では、強化学習における抽象論について述べる。 最初に、抽象化のプロセスを実行する関数に対して、3つのdesiderataを提供します。 次に、エージェントがこれらのデシダータに従って抽象化を学習する方法を明確にする、新しいアルゴリズムと分析のスイートを提示します。
  論文  参考訳（メタデータ） (2022-03-01T12:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。