論文の概要: Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL
- arxiv url: http://arxiv.org/abs/2607.16524v1
- Date: Fri, 17 Jul 2026 21:53:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.174182
- Title: Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL
- Title（参考訳）: フィードバック属性と表現幾何学:MARLにおける個人と共有リワードの比較尺度
- Abstract要約: EffRank/$n$および$D_textact$を報奨効果の低オーバーヘッド診断として提案する。
我々は、SMACv2 textttprotoss_5_vs_5 の有能MAPPO エージェントでテストを行い、そこで単位型をコード化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cooperative multi-agent RL systems routinely use team-averaged rewards, a feedback-attribution choice that gives each agent the team outcome regardless of its individual contribution. We ask whether this leaves a measurable signature, geometric or behavioral, on learned representations. We propose EffRank/$n$ (effective rank normalized by agent count) and $D_\text{act}$ (mean pairwise KL divergence between agents' action distributions) as low-overhead diagnostics for reward-attribution effects, then test them on competent MAPPO agents in SMACv2 \texttt{protoss\_5\_vs\_5}, where unit type is encoded in the observation. In an observation $\times$ reward-attribution comparison (unit type observed vs.\ masked; individual damage-contribution reward vs.\ shared team reward), geometry follows observation rather than reward. With unit type observed, shared and individual rewards have similar EffRank/$n$ ($0.31{\pm}0.03$ vs.\ $0.29{\pm}0.02$) and probe accuracy ($0.75{\pm}0.05$ vs.\ $0.73{\pm}0.05$, both $\gg 1/3$ chance), while $D_\text{act}$ leans higher under individual rewards ($1.23{\pm}0.06$ vs.\ $1.07{\pm}0.20$). Masking unit type cuts the above-chance probe signal by more than half, to $0.49$ in both reward arms. In short: individually rewarded agents are competent and separable by role, but on SMACv2 the observation explains the geometry and reward attribution shows up mainly in behavior. Thus geometric diagnostics must control for observed role information and test persistent roles that are not directly observed. EffRank/$n$ and $D_\text{act}$ add $<$5\% overhead.
- Abstract（参考訳）: 協力的マルチエージェントRLシステムは、各エージェントに個々の貢献に関係なく、チームの成果を提供するフィードバック属性選択である、平均的な報酬を常用する。
学習した表現に対して、測定可能なシグネチャ、幾何学的か行動的かを問う。
EffRank/$n$(エージェントカウントによって正規化される有効ランク)と$D_\text{act}$(エージェントの行動分布間のペアワイドKL分散)を報酬分配効果の低オーバーヘッド診断として提案し、SMACv2 \texttt{protoss\_5\_vs\_5} の有能MAPPOエージェントで検証する。
in an observed $\times$ reward-attribution comparison (unit type observed vs。
仮面; 個人損害-貢献報酬 vs。
共有チーム報酬) 幾何学は報酬ではなく観察に従う。
単位型が観察された場合、共有と個々の報酬は、EffRank/$n$$$0.31{\pm}0.03$ vs。
$0.29{\pm}0.02$) とプローブ精度 (0.75{\pm}0.05$ vs。
0.73{\pm}0.05$, both $\gg 1/3$ chance, and $D_\text{act}$ leans higher under individual rewards$1.23{\pm}0.06$ vs。
\ $1.07{\pm}0.20$)。
マスキングユニットタイプは、上記のプローブ信号を半分以上カットし、両方の報奨アームで0.49ドルに値下げする。
要するに、個々に報酬を受けたエージェントは、役割によって能力と分離が可能であるが、SMACv2では、その幾何学と報酬の帰属が主に行動に現れると説明されている。
したがって、幾何学的診断は観察された役割情報と直接観察されない永続的な役割を制御しなければならない。
EffRank/$n$と$D_\text{act}$ add $<$5\% オーバーヘッド。
関連論文リスト
- The Price of Decentralization in Top-$K$ Arm Identification [1.3700362496838856]
マルチエージェント・マルチアーム・バンディットにおけるトップ$K$のジョイントアーム識別について検討する。
エージェントは、ジョイントアームを構成する個々のアクションを同時に選択する。
共有逆同定は1つの普遍対数係数まで最適であることを示す。
論文 参考訳（メタデータ） (2026-08-22T22:22:06Z) - Safety, or Just Capability? A Validity Audit of Agent-Safety Benchmarks [10.839956062772792]
3つのエージェントセーフティベンチマークは同じ18モデルのランクが異なる。
AgentHarmの安全性に対するR-Judgeの特異性は、$-0.64$ at $n=7$と$+0.02$ at $n=18$と相関しており、ランダムサイズ7サブセットの4分の1は、そのほぼゼロの値の周りで$|| geq 0.5$に達する。
AgentHarmは、最強のホールトアウト・アソシエーションである$=+0.72$で、制御能力の後に3段階のジェイルブレイクの安全性を示す。
論文 参考訳（メタデータ） (2026-07-30T03:45:10Z) - A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。
インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
論文 参考訳（メタデータ） (2026-06-12T16:46:24Z) - When Can Human-AI Teams Outperform Individuals? Tight Bounds with Impossibility Guarantees [13.891522069967507]
人間とAIのチームは研究の70%で最高のメンバを上回りませんが、相補性が達成可能な時期を示す理論はありません。
信号検出理論と情報理論解析を統合することにより,信頼度に基づく広範囲なアグリゲーションルールの厳密な境界を導出する。
論文 参考訳（メタデータ） (2026-05-09T05:46:11Z) - reward-lens: A Mechanistic Interpretability Library for Reward Models [0.0]
このツールキットを報酬モデルに移植するオープンソースライブラリである reward-lens を提示する。
このライブラリは、Reward Lens、コンポーネント属性、3モードアクティベーションパッチ、報奨型プローブスイート、TopK SAE機能属性を提供する。
695 RewardBench対における2つの生産報酬モデルについて検証した。
論文 参考訳（メタデータ） (2026-04-28T21:38:10Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Reinforcement Learning with Segment Feedback [56.54271464134885]
状態ごとの反応フィードバックと軌道フィードバックのギャップを埋める一般的なパラダイムを提供するRLというモデルを考える。
バイナリフィードバックの下では、$m$のセグメント数の増加は指数率で後悔を減少させるが、驚くべきことに、和フィードバックの下では、$m$の増加は後悔を著しく減少させるものではない。
論文 参考訳（メタデータ） (2025-02-03T23:08:42Z) - Partial Identifiability in Inverse Reinforcement Learning For Agents With Non-Exponential Discounting [64.13583792391783]
逆強化学習は、エージェントの振る舞いを観察することから、エージェントの好みを推測することを目的としている。
IRLの主な課題の1つは、複数の選好が同じ観察行動を引き起こす可能性があることである。
一般にIRLは、正しい最適ポリシーを特定するのに、$R$に関する十分な情報を推測できないことを示す。
論文 参考訳（メタデータ） (2024-12-15T11:08:58Z) - Communication-Constrained Bandits under Additive Gaussian Noise [111.06688156723018]
クライアントが学習者にコミュニケーション制約のあるフィードバックを提供する分散マルチアームバンディットについて検討する。
我々は、この下限を小さな加法係数にマッチさせるマルチフェーズ帯域幅アルゴリズム、$mathtUEtext-UCB++$を提案する。
論文 参考訳（メタデータ） (2023-04-25T09:31:20Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations [102.32996053572144]
我々は,各ラウンドの開始時に,学習者が各アームの真の報酬について,ノイズのない独立した評価を受けるマルチアームバンディット・セッティングを考える。
評価の方法によって異なるアルゴリズムアプローチと理論的保証を導出する。
論文 参考訳（メタデータ） (2021-12-13T09:48:54Z) - Reward-Free Model-Based Reinforcement Learning with Linear Function
Approximation [92.99933928528797]
エピソードマルコフ決定過程(MDP)に対する線形関数近似を用いたモデルに基づく無報酬強化学習について検討する。
計画段階では、特定の報酬関数が与えられ、探索フェーズから収集したサンプルを使用して良い政策を学ぶ。
任意の報酬関数に対して$epsilon$-optimal Policyを得るには,最大$tilde O(H4d(H + d)epsilon-2)$ episodesをサンプリングする必要がある。
論文 参考訳（メタデータ） (2021-10-12T23:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。