論文の概要: Game-Theoretic Foundations for Undiscounted Bisimulation Metrics

• arxiv url: http://arxiv.org/abs/2610.38313v1
• Date: Wed, 28 Oct 2026 05:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.375704
• Title: Game-Theoretic Foundations for Undiscounted Bisimulation Metrics
• Title（参考訳）: 非カウントバイシミュレーションメトリックのためのゲーム理論の基礎
• Abstract要約: シミュレーションメトリクスは、強化学習におけるタスク関連状態類似性の原則的概念を提供する。 本研究は,全体的および平均的回帰問題である,未報告の設定におけるバイシミュレーションメトリクスの統一基盤を構築する。
• 参考スコア（独自算出の注目度）: 19.355380561065605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bisimulation metrics offer a principled notion of task-relevant state similarity in reinforcement learning, but existing constructions and methods are largely confined to discounted MDPs, where contraction arguments ensure well-defined fixed points and downstream guarantees. We develop a unified foundation for bisimulation metrics in undiscounted settings, that is total- and average-reward problems, by replacing the standard operator-centric view with a game-centric one: we interpret prior metric operators as Bellman-Shapley operators of zero-sum turn-based games and define metrics as the corresponding game value functions, yielding unique definitions even when $γ=1$. This game-theoretic foundation facilitates transfer of dynamic-programming theory and algorithms. We also use this game-centric perspective to characterize how metric finiteness depends on structural properties of the underlying MDP and motivate certain directed metrics that remain finite in weakly communicating MDPs. We further introduce an abstract framework for modifying the games' action spaces, allowing general transition coupling sets, that recovers many existing metrics and guides new constructions. Finally, we prove that these metrics bound total-reward and, when the optimal gain is state-independent, optimal relative value differences. We also provide error and suboptimality guarantees for aggregation-based planning in total- and average-reward settings.
• Abstract（参考訳）: ビシミュレーション・メトリクスは強化学習におけるタスク関連状態類似性の原則的概念を提供するが、既存の構成と手法は、よく定義された固定点と下流の保証を保証する契約の議論において、主に割引されたMDPに限られている。 我々は、標準的な演算子中心のビューをゲーム中心のビューに置き換え、ゼロサムのターンベースゲームのベルマン・シャプリー演算子と解釈し、対応するゲーム値関数としてメトリクスを定義し、$γ=1$のときでも一意に定義する。 このゲーム理論の基礎は、動的プログラミング理論とアルゴリズムの伝達を促進する。 我々はまた、このゲーム中心の視点を用いて、計量有限性が基礎となるMDPの構造的性質にどのように依存するかを特徴づけ、弱通信MDPにおいて有限であるある指示的メトリクスを動機付ける。 さらに,ゲーム内のアクション空間を変更するための抽象的なフレームワークを導入し,一般的なトランジッション・カップリング・セットを実現し,多くの既存のメトリクスを復元し,新たな構成を導出する。 最後に、これらの指標が全リワードに束縛されていることを証明し、最適ゲインが状態に依存しない場合、最適相対値差が与えられる。 また,全体と平均回帰設定において,アグリゲーションに基づく計画の誤りと準最適性を保証する。

関連論文リスト

• Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
  推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。 我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。 9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-31T08:44:36Z)
• Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
  Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。 現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
  論文  参考訳（メタデータ） (2026-03-05T23:44:45Z)
• Group-Invariant Unsupervised Skill Discovery: Symmetry-aware Skill Representations for Generalizable Behavior [7.469447825853364]
  Group-Invariant Skill Discoveryは、グループ構造をスキル発見の目的に組み込むフレームワークである。 GISD は,下流のタスク学習において,強大なベースラインに比べて,広範な状態空間のカバレッジを実現し,効率を向上することを示す。
  論文  参考訳（メタデータ） (2026-01-20T14:21:18Z)
• No-rank Tensor Decomposition Using Metric Learning [0.0]
  本稿では,計量学習に基づく非ランクテンソル分解フレームワークを提案する。 フレームワークの収束に関する理論的保証を提供し、その計量特性の有界性を確立する。 提案手法は, トランスフォーマーに基づく手法と比較して, より少ないトレーニングデータセットで優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-11-03T18:21:53Z)
• Towards an Improved Metric for Evaluating Disentangled Representations [0.6946415403594184]
  切り離された表現学習は、表現を制御可能、解釈可能、転送可能にする上で重要な役割を果たす。 領域におけるその重要性にもかかわらず、信頼性と一貫した量的絡み合い計量の探求は依然として大きな課題である。 そこで本稿では, 直感的概念の強調と係数-符号関係の改善を生かしたemphEDIという測度を導入することにより, 絡み合いの定量化のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-04T00:32:59Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。