論文の概要: The Coming Crisis of Multi-Agent Misalignment: AI Alignment Must Be a Dynamic and Social Process

• arxiv url: http://arxiv.org/abs/2506.01080v1
• Date: Sun, 01 Jun 2025 16:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.922526
• Title: The Coming Crisis of Multi-Agent Misalignment: AI Alignment Must Be a Dynamic and Social Process
• Title（参考訳）: AIアライメントは動的で社会的プロセスでなければならない
• Authors: Florian Carichon, Aditi Khandelwal, Marylou Fauchard, Golnoosh Farnadi,
• Abstract要約: 人間の価値観や好みとAIの整合性は依然として重要な課題だ。 エージェントは互いに関与するので、個々の目標と集合目標の両方を達成するために調整する必要があります。 社会構造は、グループや個人の価値を減らしたり、壊したりすることができる。 私たちは、人間、優先的、客観的なアライメントを相互依存的な概念として扱うようにAIコミュニティに呼びかけます。
• 参考スコア（独自算出の注目度）: 13.959658276224266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper states that AI Alignment in Multi-Agent Systems (MAS) should be considered a dynamic and interaction-dependent process that heavily depends on the social environment where agents are deployed, either collaborative, cooperative, or competitive. While AI alignment with human values and preferences remains a core challenge, the growing prevalence of MAS in real-world applications introduces a new dynamic that reshapes how agents pursue goals and interact to accomplish various tasks. As agents engage with one another, they must coordinate to accomplish both individual and collective goals. However, this complex social organization may unintentionally misalign some or all of these agents with human values or user preferences. Drawing on social sciences, we analyze how social structure can deter or shatter group and individual values. Based on these analyses, we call on the AI community to treat human, preferential, and objective alignment as an interdependent concept, rather than isolated problems. Finally, we emphasize the urgent need for simulation environments, benchmarks, and evaluation frameworks that allow researchers to assess alignment in these interactive multi-agent contexts before such dynamics grow too complex to control.
• Abstract（参考訳）: マルチエージェントシステム(MAS)におけるAIアライメント(AI Alignment in Multi-Agent Systems)は、エージェントが配置される社会的環境、協力的、協力的、競争的な環境に大きく依存する動的かつ相互作用に依存したプロセスであると考えられるべきである。 AIと人間の価値観や好みとの整合性は依然として重要な課題だが、現実世界のアプリケーションにおけるMASの普及は、エージェントが目標を追求し、さまざまなタスクを達成するために対話する方法を再認識する新しいダイナミクスを導入している。 エージェントは互いに関与するので、個々の目標と集合目標の両方を達成するために調整する必要があります。 しかし、この複雑な社会組織は、意図せずこれらのエージェントのいくつかまたは全てを人間の価値観やユーザーの好みで誤解する可能性がある。 社会科学に基づいて、社会構造が集団や個人の価値を抑えるか、破壊するかを分析する。 これらの分析に基づいて、我々は、孤立した問題ではなく、人間、優先的、客観的なアライメントを相互依存的な概念として扱うようAIコミュニティに呼びかける。 最後に、シミュレーション環境、ベンチマーク、評価フレームワークの緊急の必要性を強調し、このようなダイナミクスが制御するには複雑すぎる前に、研究者がこれらのインタラクティブなマルチエージェントコンテキストにおけるアライメントを評価できるようにする。

関連論文リスト

• Quantifying Misalignment Between Agents: Towards a Sociotechnical Understanding of Alignment [2.619545850602691]
  最近の社会技術的アプローチは、複数の人間とAIエージェント間の複雑なミスアライメントを理解する必要性を強調している。 我々は、人間の競合の計算社会科学モデルをアライメント問題に適用する。 我々のモデルは、潜在的に矛盾する目標を持つ多種多様なエージェントグループにおけるミスアライメントを定量化する。
  論文  参考訳（メタデータ） (2024-06-06T16:31:22Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。