論文の概要: Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.25357v1
- Date: Wed, 24 Jun 2026 03:43:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.206574
- Title: Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning
- Title（参考訳）: 強化学習における状態抽象化のための構成的行動意味論
- Abstract要約: 本稿では,強化学習における行動構造の定義と分析のための統一的な枠組みを提案する。
本フレームワークは,システム力学の局所的,一段階的な記述に基づいて,行動意味論を規定する構成的手法を提供する。
音質保証を伴う論理的行動意味論から定量的なメトリクスを構築する方法について述べる。
- 参考スコア（独自算出の注目度）: 10.043594646353691
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State abstraction plays a key role in scaling reinforcement learning to complex but structured systems. In studying such systems, a wide range of behavioral structures have been studied in reinforcement learning, including value functions, invariants, bisimulation relations, and behavioral metrics. However, a general principle for determining what structures are provably preserved under state abstraction is still lacking. In this paper, we present a unified framework for defining and analyzing behavioral structures in reinforcement learning. Our framework provides a compositional way to specify behavioral semantics based on local, one-step descriptions of system dynamics. Using this framework, we establish results showing how behavioral structures can be safely transferred between abstract and concrete systems. We further show how to construct quantitative metrics from logical behavioral semantics with soundness guarantees. Together, these results provide a principled foundation for reasoning about behaviors under state abstraction in reinforcement learning and offer reusable definition and proof principles for a broad class of behavioral structures in reinforcement learning.
- Abstract（参考訳）: 状態抽象化は、複雑だが構造化されたシステムへの強化学習のスケーリングにおいて重要な役割を果たす。
このようなシステムの研究において、価値関数、不変量、ビシミュレーション関係、行動メトリクスを含む、幅広い行動構造が強化学習において研究されている。
しかし、状態抽象化の下でどの構造が確実に保存されているかを決定する一般的な原理は、いまだに欠如している。
本稿では,強化学習における行動構造の定義と分析のための統一的な枠組みを提案する。
本フレームワークは,システム力学の局所的,一段階的な記述に基づいて,行動意味論を規定する構成的手法を提供する。
この枠組みを用いて, 抽象システムと具体的なシステムの間で, 行動構造が安全に移動可能であることを示す。
さらに,音質保証を伴う論理的行動意味論から定量的なメトリクスを構築する方法について述べる。
これらの結果は、強化学習における状態抽象の下での行動の推論に関する原則的基礎を提供し、強化学習における幅広い種類の行動構造に対する再利用可能な定義と証明原則を提供する。
関連論文リスト
- General Machine Learning: Theory for Learning Under Variable Regimes [2.538209532048866]
本研究では,学習者,記憶状態,評価条件が時間とともに変化しうる状況下での学習について検討する。
本稿では, 許容輸送, 保護コア保存, 評価者対応学習の進化を主眼とした, 体制的変化の枠組みを開発する。
論文 参考訳（メタデータ） (2026-03-24T13:58:31Z) - Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。
テキスト内概念推論におけるLLMの内部処理について検討する。
論文 参考訳（メタデータ） (2026-02-08T03:14:39Z) - A Formal Descriptive Language for Learning Dynamics: A Five-Layer Structural Coordinate System [0.0]
本稿では,動的学習のための多層形式記述フレームワークを提案する。
予測モデルや規範モデルを提供するのではなく、状態変数、マッピング、レイヤ固有の責務で構成されるシンボリック言語を導入している。
論文 参考訳（メタデータ） (2025-12-20T22:46:13Z) - Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。
推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。
この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
論文 参考訳（メタデータ） (2025-08-29T18:53:31Z) - Fuzzy, Symbolic, and Contextual: Enhancing LLM Instruction via Cognitive Scaffolding [3.553493344868413]
本研究では,指導対話における大規模言語モデル(LLM)の認知行動に,素早いレベルの帰納的バイアスがどう影響するかを検討する。
本稿では,適応的,構造化された推論を促進するために,短期記憶スキーマと組み合わせたシンボリックスキャフォールディング手法を提案する。
予備的な結果は、我々の完全なシステムがベースラインの変種を一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-08-28T20:46:13Z) - Understanding Learning Dynamics Through Structured Representations [1.7244210453129227]
本稿では,内部構造的選択が学習システムの振舞いをいかに形作るかを検討する。
これらの構造が勾配流、スペクトル感度、固定点挙動にどのように影響するかを分析する。
固定テンプレートを規定するのではなく、解釈可能な方法で学習行動を操ることのできるトラクタブルデザインの原則を強調します。
論文 参考訳（メタデータ） (2025-08-04T07:15:57Z) - Feature-Based vs. GAN-Based Learning from Demonstrations: When and Why [50.191655141020505]
この調査は、デモから学ぶ機能ベースのアプローチとGANベースのアプローチの比較分析を提供する。
特徴に基づく手法とGANに基づく手法の2分法はますます曖昧になっていると我々は主張する。
論文 参考訳（メタデータ） (2025-07-08T11:45:51Z) - Sequential Representation Learning via Static-Dynamic Conditional Disentanglement [58.19137637859017]
本稿では,ビデオ中の時間非依存要因と時間変化要因を分離することに着目し,逐次的データ内での自己教師付き不整合表現学習について検討する。
本稿では,静的/動的変数間の因果関係を明示的に考慮し,それらの因子間の通常の独立性仮定を破る新しいモデルを提案する。
実験により、提案手法は、シーンのダイナミックスが内容に影響されるシナリオにおいて、従来の複雑な最先端技術よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-08-10T17:04:39Z) - Inverse Decision Modeling: Learning Interpretable Representations of
Behavior [72.80902932543474]
我々は,逆決定モデルに関する表現的,統一的な視点を開拓する。
これを逆問題(記述モデルとして)の形式化に用います。
この構造が(有界な)有理性の学習(解釈可能な)表現を可能にする方法について説明する。
論文 参考訳（メタデータ） (2023-10-28T05:05:01Z) - Generalized Reinforcement Learning: Experience Particles, Action
Operator, Reinforcement Field, Memory Association, and Decision Concepts [2.398608007786179]
本稿では,ベイズ風の一般強化学習フレームワークを提案する。
まず,不確実性や流動挙動に対処するためのパラメトリック・アクション・モデルを構築した。
次に,学習者の作業記憶に保持される「偏極化経験粒子」によって確立された物理に着想を得た構成体として,強化場の概念を導入する。
論文 参考訳（メタデータ） (2022-08-09T15:05:15Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳（メタデータ） (2022-06-09T16:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。