論文の概要: Beyond Reward: A Bounded Measure of Agent Environment Coupling

• arxiv url: http://arxiv.org/abs/2603.01283v1
• Date: Sun, 01 Mar 2026 21:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.604608
• Title: Beyond Reward: A Bounded Measure of Agent Environment Coupling
• Title（参考訳）: Beyond Reward: エージェント環境の結合のバウンドな測定方法
• Abstract要約: 両予測可能性 (P) は, 観測, 行動, 結果ループにおける共有情報の合計情報に対する比率として導入する。 補助モニタであるIDT(Information Digital Twin)は、インタラクションストリームからPとその診断コンポーネントを演算する。 我々は,MuJoCo HalfCheetahのSACおよびPPO剤を8剤,環境側摂動を168試験で評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world reinforcement learning (RL) agents operate in closed-loop systems where actions shape future observations, making reliable deployment under distribution shifts a persistent challenge. Existing monitoring relies on reward or task metrics, capturing outcomes but missing early coupling failures. We introduce bipredictability (P) as the ratio of shared information in the observation, action, outcome loop to the total available information, a principled, real time measure of interaction effectiveness with provable bounds, comparable across tasks. An auxiliary monitor, the Information Digital Twin (IDT), computes P and its diagnostic components from the interaction stream. We evaluate SAC and PPO agents on MuJoCo HalfCheetah under eight agent, and environment-side perturbations across 168 trials. Under nominal operation, agents exhibit P = 0.33 plus minus 0.02, below the classical bound of 0.5, revealing an informational cost of action selection. The IDT detects 89.3% of perturbations versus 44.0% for reward based monitoring, with 4.4x lower median latency. Bipredictability enables early detection of interaction degradation before performance drops and provides a prerequisite signal for closed loop self regulation in deployed RL systems.
• Abstract（参考訳）: 実世界の強化学習(RL)エージェントは、行動が将来の観測を形作るクローズドループシステムで動作し、分散下での信頼性の高いデプロイメントは永続的な課題である。 既存の監視は報酬やタスクのメトリクスに依存し、成果を捉えるが、初期の結合障害を欠く。 両予測可能性 (P) を, 観測, 行動, 結果ループの合計情報に対する共有情報の比率として導入する。 補助モニタであるIDT(Information Digital Twin)は、インタラクションストリームからPとその診断コンポーネントを演算する。 我々は,MuJoCo HalfCheetahのSACおよびPPO剤を8剤,環境側摂動を168試験で評価した。 名目上の操作では、エージェントはP = 0.33 プラス 0.02 となり、0.5 の古典的な境界以下となり、情報的な行動選択のコストが明らかになる。 IDTは89.3%の摂動を検出し、報奨ベースのモニタリングでは44.0%、中央値のレイテンシは4.4倍である。 Bipredictabilityは、性能低下前の相互作用劣化を早期に検出し、デプロイされたRLシステムでクローズドループ自己制御のための必須信号を提供する。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• ObserverBench: Testing Mechanistic Estimates for Intervention and Control [0.0]
  機械的解釈可能性(Mechanistic interpretability)は、活性化ステアリング、回路除去、安全監視などの介入を導くためにますます用いられる。 ObserverBenchは、内部推定器が、それが指示する介入、制御、安全タスクに適切かどうかをテストするためのベンチマークフレームワークである。 ベンチマークは、選択された動作による損失とは別途、推定精度を報告する。
  論文  参考訳（メタデータ） (2026-09-02T18:01:17Z)
• Predictive Allostatic Organization in Recurrent and Spiking Agents Under Partial Observability [0.0]
  我々は、繰り返しおよびスパイク剤が、対応する計算特性を持つ内部状態を発達させるかどうかを検証した。 我々はこのパターンを予測的アロスタティックな組織の計算的類似体と解釈する。
  論文  参考訳（メタデータ） (2026-08-11T23:40:14Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Cognitive Friction: A Decision-Theoretic Framework for Bounded Deliberation in Tool-Using Agents [0.0]
  制約のないツール使用エージェントは、どの情報ソースをクエリして実行するかを決めなければなりません。 本稿では,これらの障害モードを認知的摩擦によって形式化する決定論的枠組みであるTCAを提案する。 我々は,TCAを2つの制御された環境において,停止品質,混雑時の行動選択,時間的緊急性の分離を図った。
  論文  参考訳（メタデータ） (2026-03-31T17:30:25Z)
• TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same [2.755751829139168]
  ほとんどの不確実性を認識したロボットシステムは、予測の不確実性を単一のスカラースコアに分解し、それを使って一様に修正された応答をトリガーする。 このアグリゲーションは、破損した観測結果から不確実性が生じるか、あるいは学習されたモデルと真のシステム力学とのミスマッチから生じるのかを曖昧にしている。 本研究では,不確かさを動脈およびてんかん成分に分解する軽量なポストホックフレームワークを導入し,これらの信号を用いて推論時のシステム応答を調節する。
  論文  参考訳（メタデータ） (2026-03-09T09:07:43Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Robust Federated Learning for Malicious Clients using Loss Trend Deviation Detection [0.0]
  フェデレートラーニング(FL)は、ローカルデバイスに生データが残ることを保証しながら、分散クライアント間の協調的なモデルトレーニングを容易にする。 このようなクライアントは、誤解を招く更新を送信することでトレーニングプロセスに干渉し、グローバルモデルのパフォーマンスと信頼性に悪影響を及ぼす可能性がある。 モデル勾配ではなく時間的損失のダイナミクスを監視して悪意のある行動を検知・緩和する,軽量かつプライバシ保護型防衛フレームワークであるFL-LTDを提案する。
  論文  参考訳（メタデータ） (2026-01-28T18:09:53Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Mutual Information Tracks Policy Coherence in Reinforcement Learning [0.0]
  強化学習(RL)エージェントは、センサの故障、アクチュエータの摩耗、環境変化による劣化に直面している。 本稿では,RLの基本動力学を両立させる情報理論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-12T17:24:20Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
  本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。 WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-09T18:35:08Z)
• Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features [50.82725748981231]
  エンゲージメント測定は、医療、教育、サービスに応用される。 生理的特徴と行動的特徴の使用は可能であるが、従来の生理的測定の非現実性は接触センサーの必要性により生じる。 コンタクトセンサの代替として, 教師なし光胸腺造影(胸腔鏡)の有用性を実証する。
  論文  参考訳（メタデータ） (2024-04-05T20:39:16Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Multi-agent active perception with prediction rewards [18.780904566592852]
  マルチエージェントアクティブな知覚は、エージェントのチームが協調して観測を集め、隠れた変数の合同推定を計算するタスクである。 我々は,マルチエージェントの能動知覚を,凸集中型予測報酬を用いた部分観測可能なマルコフ決定プロセス(Dec-POMDP)としてモデル化する。 この結果から,任意のDec-POMDP解法をマルチエージェント能動認識問題に適用し,共同推定の明示的な計算を行なわずに不確実性を抑えることが可能となった。
  論文  参考訳（メタデータ） (2020-10-22T16:10:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。