論文の概要: Evolution of fairness in multi-objective reinforcement learning framework

• arxiv url: http://arxiv.org/abs/2609.34114v1
• Date: Mon, 28 Sep 2026 01:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:54:45.98913
• Title: Evolution of fairness in multi-objective reinforcement learning framework
• Title（参考訳）: 多目的強化学習フレームワークにおける公正性の進化
• Abstract要約: 本稿では,フェアネスの進化を物質的報酬とフェアネス駆動の道徳行動のトレードオフとしてモデル化する多目的強化学習フレームワークを提案する。 2目的のQ-ラーニング終末ゲームのシミュレーションを用いて、公正度圧力の増加が期待通りに公正な結果をもたらすことを確かめた。 我々はフレームワークを非対称な設定に拡張し、提案者と応答者が2つの目的に対して異なる重みを割り当てる。
• 参考スコア（独自算出の注目度）: 7.994894084649013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fairness, as a fundamental social norm, continues to pose a longstanding puzzle regarding its emergence. Traditional game-theoretic models largely rely on the assumption of \emph{Homo economicus}, wherein individuals are purely rational and self-interested, acting solely to maximize material payoffs. Such accounts, however, overlook the multidimensional nature of human decision-making, which is often shaped also by other considerations beyond economic incentives. To address this gap, we propose a multi-objective reinforcement learning framework that models the evolution of fairness as a dynamic trade-off between material payoff maximization and fairness-driven moral behavior, regulated by a fairness pressure coefficient. Using simulations of a two-objective Q-learning ultimatum game, we find that increased fairness pressure promotes fair outcomes, as expected. Strikingly, however, under moderate pressure, responder behavior reverses: responders become ``forgiving" by accepting low offers -- a pattern in line with our daily experience. Microscopic analyses reveal that this strategy reversal stems from competition between payoff-maximizing and fairness-oriented preferences. We further extend our framework to an asymmetric setting, where proposers and responders assign different weights to the two objectives. Overall, our work expands the reinforcement learning paradigm from a single-objective to a multi-objective formulation, offering a versatile tool for elucidating a broader range of human social behaviors.
• Abstract（参考訳）: フェアネスは、基本的な社会的規範として、その出現に関して長年の謎を呈し続けている。 伝統的なゲーム理論モデルは、個人が純粋に合理的で自己関心を持ち、物質的な支払いを最大化するためにのみ作用する「emph{Homo Economicus}」の仮定に大きく依存している。 しかし、このような説明は、人間の意思決定の多次元的な性質を見落としており、経済的なインセンティブを超えた他の考慮によって形作られることが多い。 このギャップに対処するために,フェアネスの進化を,物質ペイオフ最大化とフェアネス駆動型道徳行動の動的トレードオフとしてモデル化する多目的強化学習フレームワークを提案する。 2目的のQ-ラーニング終末ゲームのシミュレーションを用いて、公正度圧力の増加が期待通りに公正な結果をもたらすことを確かめた。 しかし、穏やかなプレッシャーの下では、応答者の行動は逆転します。 顕微鏡分析により、この戦略の逆転は、ペイオフ最大化とフェアネス指向の嗜好の競合に起因していることが明らかとなった。 我々はさらにフレームワークを非対称な設定に拡張し、提案者と応答者は2つの目的に対して異なる重みを割り当てる。 全体として、我々の研究は強化学習パラダイムを、単目的から多目的の定式化へと拡張し、より広い範囲の人間の社会的行動を解明するための汎用的なツールを提供する。

関連論文リスト

• SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
  複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。 既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。 協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
  論文  参考訳（メタデータ） (2026-04-21T02:08:25Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios [57.327907850766785]
  現実的な現実のシナリオにまたがる騙しのキャラクタリゼーションは未解明のままである。 DeceptionBenchは、さまざまなドメインにまたがる認知傾向を体系的に評価する最初のベンチマークです。 本研究は,本質的な側面から,ユーザ満足度を優先する自己関心のエゴスティックな傾向を示すモデルや,サイコファンティックな行動を示すモデルについて検討する。 実世界のフィードバックダイナミクスのより現実的なシミュレーションを構築するために,持続的マルチターン相互作用ループを組み込んだ。
  論文  参考訳（メタデータ） (2025-10-17T10:14:26Z)
• Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning [0.0]
  そこで我々は,人間の嗜好を潜在ベクトル値報酬関数としてモデル化する,嗜好に基づく多目的逆強化学習(MO-IRL)の理論的枠組みを提案する。 本研究は,実践的アライメント技術と理論的保証のギャップを埋め,アライメント行動の学習の原則的基盤を提供するものである。
  論文  参考訳（メタデータ） (2025-05-17T06:09:13Z)
• A Theoretical Model for Grit in Pursuing Ambitious Ends [48.43624563381919]
  我々は、多武装バンディットフレームワークの改善において、安定した選択とリスクのある選択の意思決定のモデルを提供する。 我々は、グリットの増加や金融安全ネットの提供など、様々な介入の影響について検討する。
  論文  参考訳（メタデータ） (2025-03-04T19:17:42Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• Opponent Learning Awareness and Modelling in Multi-Objective Normal Form Games [5.0238343960165155]
  エージェントはシステム内の他のエージェントの振る舞いについて学ぶことが不可欠である。 本稿では,非線形ユーティリティとの多目的マルチエージェント相互作用に対する,このようなモデリングの効果について述べる。
  論文  参考訳（メタデータ） (2020-11-14T12:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。