論文の概要: Embedding Information in Policy Randomness: Distribution-Preserving Implicit Communication in MDPs

• arxiv url: http://arxiv.org/abs/2610.15976v1
• Date: Sun, 11 Oct 2026 23:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.278992
• Title: Embedding Information in Policy Randomness: Distribution-Preserving Implicit Communication in MDPs
• Title（参考訳）: 政策ランダム性における情報埋め込み:MDPにおける分散保存インシシデント通信
• Abstract要約: 我々は,所定の政策に従って環境と対話するエージェントを考える。 ポリシーのランダムな行動実現を慎重に調整することにより、エージェントの行動に情報を埋め込むことができる。 本稿では、送信するメッセージに応じて動作を選択する、後マッチングランダムネス(PRAM)と呼ばれる符号化方式を提案する。
• 参考スコア（独自算出の注目度）: 49.55606305082899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates a new role of randomness in stochastic policies--as a medium for embedding and communicating information. Specifically, we consider an agent interacting with an environment according to a prescribed stochastic policy. By carefully modulating the random action realizations of the policy, information can be embedded into the agent's behavior without altering the prescribed action distribution. We cast this problem as a channel coding problem, in which the controlled system implicitly serves as a communication channel. We then propose a coding scheme, termed posterior-matching randomness modulation (PRAM), that selects actions according to the message to be transmitted. With the aid of common randomness independent of the control system, PRAM preserves the prescribed action distribution for every state and every message. We further prove that PRAM is asymptotically reliable: the message can be decoded with arbitrarily small error probability as the observed state trajectory becomes sufficiently long. Experiments demonstrate the effectiveness of the proposed framework in applications including multi-bit policy watermarking and trajectory provenance.
• Abstract（参考訳）: 本稿では,情報埋め込み・通信媒体としての確率的ポリシーにおけるランダム性の新たな役割について検討する。 具体的には、所定の確率的ポリシーに従って環境と相互作用するエージェントについて考察する。 ポリシーのランダムな行動実現を慎重に調整することにより、所定の行動分布を変更することなく、エージェントの行動に情報を埋め込むことができる。 本稿では,制御系が暗黙的に通信路として機能するチャネル符号化問題としてこの問題を論じる。 次に、送信するメッセージに応じて動作を選択する、後マッチングランダムネス変調(PRAM)と呼ばれる符号化方式を提案する。 制御系に依存しない共通ランダム性の助けを借りて、PRAMは全ての状態と全てのメッセージに対して所定の動作分布を保持する。 さらに、PRAMは漸近的に信頼性があることを証明し、観測状態軌跡が十分に長くなると、メッセージは任意に小さな誤り確率で復号できる。 マルチビットポリシー透かしや軌跡証明などの応用において,提案手法の有効性を示す実験を行った。

関連論文リスト

• PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
  PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。 PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
  論文  参考訳（メタデータ） (2026-04-16T20:29:30Z)
• Information Capacity Regret Bounds for Bandits with Mediator Feedback [55.269551124587224]
  我々は,政策セットの複雑さに対する情報理論尺度として,政策セットの容量を導入する。 古典的なEXP4アルゴリズムを採用することで、ポリシーセットの容量に応じて、新たな後悔の限界を提供する。 ポリシーセットファミリの選択については、キャパシティと同じようなスケールで、ほぼ整合性の低い境界を証明します。
  論文  参考訳（メタデータ） (2024-02-15T19:18:47Z)
• Randomized Confidence Bounds for Stochastic Partial Monitoring [8.649322557020666]
  部分的監視(PM)フレームワークは、不完全なフィードバックを伴う逐次学習問題の理論的定式化を提供する。 文脈的PMでは、結果は各ラウンドでアクションを選択する前にエージェントによって観測可能な何らかの側情報に依存する。 決定論的信頼境界のランダム化に基づく新しいPM戦略のクラスを導入する。
  論文  参考訳（メタデータ） (2024-02-07T16:18:59Z)
• Policy Dispersion in Non-Markovian Environment [53.05904889617441]
  本稿では,非マルコフ環境下での国家行動ペアの歴史から,多様な政策の学習を試みる。 まず、ポリシー埋め込みを学習するために、トランスフォーマーベースの手法を採用する。 次に,政策埋め込みを積み重ねて分散行列を構築し,多様な政策の集合を誘導する。
  論文  参考訳（メタデータ） (2023-02-28T11:58:39Z)
• Robust Control for Dynamical Systems With Non-Gaussian Noise via Formal Abstractions [59.605246463200736]
  雑音分布の明示的な表現に依存しない新しい制御器合成法を提案する。 まず、連続制御系を有限状態モデルに抽象化し、離散状態間の確率的遷移によってノイズを捕捉する。 我々は最先端の検証技術を用いてマルコフ決定プロセスの間隔を保証し、これらの保証が元の制御システムに受け継がれるコントローラを演算する。
  論文  参考訳（メタデータ） (2023-01-04T10:40:30Z)
• Sampling-Based Robust Control of Autonomous Systems with Non-Gaussian Noise [59.47042225257565]
  雑音分布の明示的な表現に依存しない新しい計画法を提案する。 まず、連続系を離散状態モデルに抽象化し、状態間の確率的遷移によってノイズを捕捉する。 いわゆる区間マルコフ決定過程(iMDP)の遷移確率区間におけるこれらの境界を捉える。
  論文  参考訳（メタデータ） (2021-10-25T06:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。