論文の概要: Generalised Bellman recurrence and three dualities in sequential decision-making

• arxiv url: http://arxiv.org/abs/2607.18077v1
• Date: Mon, 20 Jul 2026 15:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.688453
• Title: Generalised Bellman recurrence and three dualities in sequential decision-making
• Title（参考訳）: 逐次意思決定における一般ベルマン再発と3つの双対性
• Abstract要約: ベルマン方程式は3つの条件から生じることを示す。 同じ条件は3つの双対性をもたらす: 確率と戻りの間に1つ、帰路と集合の間に1つ、集合と確率の間に1つ。 この枠組みは, 強化学習, 制御, 決定理論にまたがって, 個別に開発された統一手法として, 一つの構成から生じるこれらの双対性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 40.8583449341828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What gives the Bellman equation its form? We show that the recursive properties of optimal value functions follow from three conditions: that the dynamics decomposes through sufficient statistics, that the return decomposes recursively, and that the aggregation of uncertainty is compatible with both. When all three conditions hold on a common state, the Bellman equation arises from their mutual consistency; when one fails, tractability can often be recovered by augmenting the state or by deforming return or dynamics. The same conditions are shown to give rise to three dualities: one between probability and return, one between return and aggregation, and one between aggregation and probability. Our framework reveals these dualities as arising from a single construction, unifying methods developed separately across reinforcement learning, control, and decision theory.
• Abstract（参考訳）: 何がベルマン方程式を形にするか? 最適値関数の帰納的性質は、3つの条件から導かれる: 力学は十分な統計によって分解され、戻り値は再帰的に分解され、不確実性の集合は両者と相容れない。 3つの条件が共通状態にあるとき、ベルマン方程式はその相互整合性から生じる。 同じ条件は3つの双対性をもたらすことが示され、1つは確率と戻りの間に、もう1つは帰路と集合の間に、もう1つは集合と確率の間に生じる。 この枠組みは, 強化学習, 制御, 決定理論にまたがって, 個別に開発された統一手法として, 一つの構成から生じるこれらの双対性を明らかにするものである。

関連論文リスト

• Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences [13.835275211048113]
  生成モデルの再帰的再訓練は、重要な表現問題を引き起こす。 複数の報酬関数に基づいたキュレーションにより崩壊を緩和できることを示す。
  論文  参考訳（メタデータ） (2026-05-08T13:27:23Z)
• On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
  本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。 我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
  論文  参考訳（メタデータ） (2026-02-18T20:25:13Z)
• The Alignment Game: A Theory of Long-Horizon Alignment Through Recursive Curation [13.835275211048113]
  モデル所有者は、どのアウトプットをモデルによって学習すべきかをフィルタリングし、パブリックユーザは、どのアウトプットが最終的に共有され、モデルとのインタラクションによって保持されるかを決定する。 分析の結果,コンセンサス・コンセンサス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・コンバージェンス・アライメント・アライメント・アライメント・アライメントの程度によって,3つの構造的コンバージェンス・アライメント・アライメント・アライメント・アライメントが明らかになった。 我々は、アライメントは静的な目標ではなく、パワー対称性と経路依存の両方によって形成される平衡の進化であることを示した。
  論文  参考訳（メタデータ） (2025-11-16T22:17:16Z)
• An open harmonic chain: Exact vs global and local reduced dynamics [0.0]
  2つのアプローチで開鎖量子力学の定常状態を得る。 本稿では,各アプローチの妥当性の領域を決定する温度依存性臨界振動子間結合強度の存在を示す。
  論文  参考訳（メタデータ） (2025-05-22T13:33:00Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• On the Pointwise Behavior of Recursive Partitioning and Its Implications for Heterogeneous Causal Effect Estimation [8.394633341978007]
  決定木学習は、ポイントワイズ推論にますます使われている。 適応決定木は、非消滅確率のノルムにおける収束の収束率を達成できないことを示す。 ランダムな森林は状況を改善することができ、貧弱な樹木をほぼ最適な手順に変えることができる。
  論文  参考訳（メタデータ） (2022-11-19T21:28:30Z)
• Growth of entanglement of generic states under dual-unitary dynamics [77.34726150561087]
  デュアルユニタリ回路(英: Dual-unitary circuits)は、局所的に相互作用する量子多体系のクラスである。 特に、それらは「可解」な初期状態のクラスを認めており、熱力学の極限では、完全な非平衡力学にアクセスできる。 この場合、時間段階における絡み合いの増大は有限時間に対して極大であるが、無限時間極限における極大値に近付く。
  論文  参考訳（メタデータ） (2022-07-29T18:20:09Z)
• Action Redundancy in Reinforcement Learning [54.291331971813364]
  遷移エントロピーはモデル依存遷移エントロピーと作用冗長性という2つの用語で記述できることを示す。 その結果,行動冗長性は強化学習の根本的な問題であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T19:47:26Z)
• Continuity of Generalized Entropy and Statistical Learning [4.568777157687959]
  確率分布の関数としての一般化エントロピーの連続性について検討した。 統計的学習理論の基本的な問題, 様々な学習方法の過剰リスク分析に, この特性を用いて答える。
  論文  参考訳（メタデータ） (2020-12-31T18:51:45Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。