論文の概要: Adaptive state-action abstractions via rate-distortion

• arxiv url: http://arxiv.org/abs/2606.06123v1
• Date: Thu, 04 Jun 2026 13:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.801326
• Title: Adaptive state-action abstractions via rate-distortion
• Title（参考訳）: 速度歪みによる適応的状態-作用抽象化
• Abstract要約: 強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
• 参考スコア（独自算出の注目度）: 52.25810164390199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When learning to walk, infants seem to address a coarse version of the problem first - stay upright, reach the caregiver - and refine it only when further practice at that resolution stops paying off. Reinforcement learning offers multiple techniques for building simple versions of complex tasks, but lacks general principles for how to dynamically adjust the granularity of these abstractions during learning. This paper proposes one such principle: refine the abstraction as soon as the learning error within it becomes comparable to the error induced by the abstraction itself. Here, we investigate one way of formalising this principle via a performance certificate that decomposes value error into two terms: a learning error bound captured by a Bellman residual, and an abstraction error bound given by a bisimulation metric. The resulting switching strategy is implemented by soft state-action abstractions built from rate-distortion principles, whose resolution along state and action axes can be continuously adjusted. We validate this construction in a range of tabular settings, showing that near-optimal performance can be achieved under substantial lossy compression of state and action information.
• Abstract（参考訳）: 歩くことを学ぶとき、幼児はまず問題の粗いバージョンに対処し、直立し、介護者にたどり着く。 強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供するが、学習中にこれらの抽象化の粒度を動的に調整する方法の一般的な原則は欠如している。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。 本稿では,値誤差をベルマン残差で捉えた学習誤差と,ビシミュレーション計量で与えられる抽象誤差の2つの項に分解する性能証明を用いて,この原理を定式化する方法について検討する。 結果として生じるスイッチング戦略は、状態と作用軸に沿った解像度を継続的に調整できるレート歪み原理から構築されたソフトな状態-作用抽象化によって実現される。 我々は,この構成を表形式で検証し,状態情報や行動情報のかなりの圧縮の下で,最適に近い性能が達成できることを実証した。

関連論文リスト

• Path-dependent program induction under resource constraints explains human sequence learning [6.533091401094101]
  将来の構造がエンコードされやすく、発見しやすいような、事前の知識がどのような形になるかを示す。 これを階層型アダプタ文法(HAG)で定式化し、異なるローカル(マルチタスク)ライブラリとグローバル(マルチタスク)ライブラリで定式化する。 シミュレーションでは、HAGは固定文法や浅いチャンク法よりも、より優れたレート歪みトレードオフとより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2026-05-26T14:03:00Z)
• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Learning with Rejection for Abstractive Text Summarization [42.15551472507393]
  本稿では,拒絶学習に基づく抽象的な要約のための学習目標を提案する。 本手法は, 自動評価と人的評価において, 生成した要約の事実性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-02-16T19:07:08Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• A Theory of Abstraction in Reinforcement Learning [18.976500531441346]
  この論文では、強化学習における抽象論について述べる。 最初に、抽象化のプロセスを実行する関数に対して、3つのdesiderataを提供します。 次に、エージェントがこれらのデシダータに従って抽象化を学習する方法を明確にする、新しいアルゴリズムと分析のスイートを提示します。
  論文  参考訳（メタデータ） (2022-03-01T12:46:28Z)
• Randomized Value Functions via Posterior State-Abstraction Sampling [21.931580762349096]
  我々は、潜在タスク構造を探究するエージェントは、その構造に対する不確実性を明確に表現し、維持する必要があると論じる。 本稿では、状態抽象化と抽象状態値の2つの後続分布を用いて、これを実現するための実用的なアルゴリズムを提案する。 私たちのアプローチを実証的に検証すると、マルチタスク設定でかなりのパフォーマンス向上が得られます。
  論文  参考訳（メタデータ） (2020-10-05T23:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。