論文の概要: MA-UITD: Offline Multi-Agent Reward Inference for Characterizing Continuous Social Behavior

• arxiv url: http://arxiv.org/abs/2610.29237v1
• Date: Wed, 21 Oct 2026 05:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.250405
• Title: MA-UITD: Offline Multi-Agent Reward Inference for Characterizing Continuous Social Behavior
• Title（参考訳）: MA-UITD:継続的社会的行動の特徴付けのためのオフラインマルチエージェント・リワード推論
• Abstract要約: なぜなら、観察された選択は、他人に対する個人的な好みと期待の両方を反映しているからである。 エージェント固有の報酬を推定するオフライン手法であるMA-UITD(Multi-Agent Unilateral Inverse Temporal Difference Learning)を導入する。 MA-UITDは、離散アクション設定でベースラインを上回り、連続アクション設定で振る舞い互換な報酬プロファイルを推論する。
• 参考スコア（独自算出の注目度）: 15.904457422363949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent inverse reinforcement learning offers a powerful framework not only for imitation learning but also for understanding the neural computations supporting social interactions and decision-making. Inferring rewards from interacting agents is challenging because observed choices reflect both personal preferences and expectations about others. Existing methods often require additional environment interaction, repeated policy optimization as an inner loop, or restrictive assumptions about environment dynamics and action spaces, limiting their applicability to fixed behavioral datasets. We introduce Multi-Agent Unilateral Inverse Temporal Difference Learning (MA-UITD), an offline method for inferring explicit agent-specific rewards from joint demonstrations in continuous-state environments with either discrete or bounded continuous actions. Its core idea is to represent the long-term consequences of each agent's own actions through belief-conditioned successor features that average over other agents' behavior. Shared reward features and agent-specific preference vectors connect these unilateral values to the target reward function, while inverse temporal-difference consistency and noise-contrastive behavioral learning enable inference without known dynamics or an inner policy-optimization loop. Across simulated cooperative, competitive, and general-sum tasks, MA-UITD outperforms baselines in discrete-action settings and infers behaviorally compatible reward profiles in continuous-action settings. When applied to experimentally collected social-foraging trajectories, MA-UITD inferred distinct spatial and interaction-dependent reward structures for leaders and followers, providing a quantitative characterization of latent behavioral objectives that may be relevant for understanding the neural computations underlying social behavior.
• Abstract（参考訳）: マルチエージェント逆強化学習は、模倣学習だけでなく、社会的相互作用や意思決定をサポートするニューラルネットワークを理解するための強力なフレームワークを提供する。 なぜなら、観察された選択は、他人に対する個人的な好みと期待の両方を反映しているからである。 既存の手法では、追加の環境相互作用、内部ループとしてのポリシーの繰り返し、あるいは環境力学や行動空間に関する制限的な仮定が必要であり、その適用性は固定された行動データセットに制限される。 離散的あるいは有界な連続行動を伴う連続状態環境における共同演示から明示的なエージェント特異的報酬を推定するオフライン手法であるMA-UITD(Multi-Agent Unilateral Inverse Temporal Difference Learning)を導入する。 その中核となる考え方は、各エージェントの行動の長期的な結果を表現することであり、他のエージェントの行動よりも平均的な、信念に条件づけられた後継機能を通じてである。 共有報酬特徴とエージェント固有の嗜好ベクトルは、これらの一方の値と対象の報酬関数を結合する一方、逆時間差分整合とノイズコントラスト的行動学習は、既知のダイナミクスや内部ポリシー最適化ループを使わずに推論を可能にする。 MA-UITDは、協調的、競争的、一般的なタスクをシミュレートして、離散的なアクション設定でベースラインを上回り、連続的なアクション設定で振る舞いに相応しい報酬プロファイルを推論する。 MA-UITDは、実験的に収集されたソーシャル・フォージング・トラジェクトリに適用すると、リーダーとフォロワーに対する空間的および相互作用に依存した報酬構造を推定し、社会的行動の根底にある神経計算を理解するのに関係のある潜伏した行動目的の定量的評価を提供する。

関連論文リスト

• AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
  LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。 本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。 AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
  論文  参考訳（メタデータ） (2026-04-14T13:49:19Z)
• Generative Adversarial Post-Training Mitigates Reward Hacking in Live Human-AI Music Interaction [14.099864893966377]
  強化学習後、コヒーレンスに基づく報酬を利用して出力の多様性を低下させる。 この崩壊は、音楽的創造性は動的変動と相互応答性に依存するライブジャミングにおいて特に有害である。 メロディと和音の伴奏のためのRLポストトレーニングにおける報酬ハッキングを軽減するために,ポリシー生成トラジェクトリに対する新たな逆行訓練手法を提案する。
  論文  参考訳（メタデータ） (2025-11-22T02:12:41Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Personalized Behavior-Aware Transformer for Multi-Behavior Sequential Recommendation [25.400756652696895]
  マルチビヘイビアシーケンスレコメンデーション(MBSR)問題に対するパーソナライズされた行動認識変換フレームワーク(PBAT)を提案する。 PBATは表現層にパーソナライズされた振舞いパターン生成器を開発し,逐次学習のための動的・識別的な振舞いパターンを抽出する。 3つのベンチマークデータセットで実験を行い、その結果、フレームワークの有効性と解釈性を示した。
  論文  参考訳（メタデータ） (2024-02-22T12:03:21Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Learning Self-Modulating Attention in Continuous Time Space with Applications to Sequential Recommendation [102.24108167002252]
  本稿では,複雑で非線形に進化する動的ユーザの嗜好をモデル化する,自己変調型注意ネットワークを提案する。 提案手法がトップNシーケンシャルなレコメンデーションタスクに与える影響を実証的に示すとともに,3つの大規模実世界のデータセットによる結果から,我々のモデルが最先端のパフォーマンスを達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-30T03:54:11Z)
• Inference of Affordances and Active Motor Control in Simulated Agents [0.5161531917413706]
  本稿では,出力確率,時間的予測,モジュール型人工ニューラルネットワークアーキテクチャを提案する。 我々のアーキテクチャは、割当マップと解釈できる潜在状態が発達していることを示す。 アクティブな推論と組み合わせることで、フレキシブルでゴール指向の動作が実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T14:13:04Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Unified Models of Human Behavioral Agents in Bandits, Contextual Bandits and RL [28.38826379640553]
  逐次的意思決定のためのより汎用的で柔軟なパラメトリック・フレームワークを提案する。 多くの精神疾患の既往の報酬処理異常にインスパイアされ、臨床にインスパイアされたエージェントは興味深い行動軌跡を示した。
  論文  参考訳（メタデータ） (2020-05-10T01:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。