論文の概要: Conformity Generates Collective Misalignment in AI Agents Societies
- arxiv url: http://arxiv.org/abs/2605.10721v1
- Date: Mon, 11 May 2026 15:30:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.940552
- Title: Conformity Generates Collective Misalignment in AI Agents Societies
- Title(参考訳): コンフォーマル性はAIエージェントの組織的ミスを発生させる
- Abstract要約: 本稿では,AIエージェントの個体群を,コンフォーマンス・ダイナミクスを用いて,安定な不整合状態へと誘導することができることを示す。
9つの大きな言語モデルと100の意見ペアの意見ダイナミクスをシミュレートすると、各エージェントの振る舞いは2つの競合する力によって支配されていることが分かる。
- 参考スコア(独自算出の注目度): 37.32928545263465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence safety research focuses on aligning individual language models with human values, yet deployed AI systems increasingly operate as interacting populations where social influence may override individual alignment. Here we show that populations of individually aligned AI agents can be driven into stable misaligned states through conformity dynamics. Simulating opinion dynamics across nine large language models and one hundred opinion pairs, we find that each agent's behavior is governed by two competing forces: a tendency to follow the majority and an intrinsic bias toward specific positions. Using tools from statistical physics, we derive a quantitative theory that predicts when populations become trapped in long-lived misaligned configurations, and identifies predictable tipping points where small numbers of adversarial agents can irreversibly shift population-level alignment even after manipulation ceases. These results demonstrate that individual-level alignment provides no guarantee of collective safety, calling for evaluation frameworks that account for emergent behavior in AI populations.
- Abstract(参考訳): 人工知能の安全性研究は、個々の言語モデルを人間の価値と整合させることに重点を置いている。
ここでは、個別に整合したAIエージェントの個体群が、整合性ダイナミクスによって安定した不整合状態に駆動されることを示す。
9つの大言語モデルと100の意見対にまたがる意見力学をシミュレートすると、各エージェントの行動は2つの競合する力によって支配されていることが分かる。
統計物理学のツールを用いて、長期にわたる不整合構造に集団がいつ閉じ込められるかを予測する定量的理論を導出し、操作停止後も少数の敵エージェントが集団レベルのアライメントを不可逆的にシフトできる予測可能な転換点を同定する。
これらの結果は、個人レベルのアライメントは、AI人口の創発的行動を説明する評価フレームワークを呼び出して、集団安全性の保証を提供していないことを示している。
関連論文リスト
- Physics of Agents: Statistical Mechanics Predicts Collective Behavior of AI Agents [36.83382233533373]
AIエージェントは、分離されたシステムではなく、インタラクションシステムの一部として運用されるようになっている。
我々は、繰り返しメッセージを交換し、意見を再検討する言語モデルエージェントのコミュニティを1万以上研究する。
行動にかなりの多様性があるにもかかわらず、個人とグループのダイナミクスは3つの特徴的な状態によって表される。
論文 参考訳(メタデータ) (2026-08-17T13:41:24Z) - ComBodied Agents: a New Paradigm of Human-Centric Agentic AI [121.60938707072069]
我々は、人間中心のパラダイムであるCombodied Agentsを紹介し、時間とともに個々の人間状態の軌跡を知覚し、モデル化し、予測し、支援する。
パーソナルアシスタント、ヘルスエージェント、AIコンパニオン、適応型ヒューマンAIシステムをクローズドループに統合する。
論文 参考訳(メタデータ) (2026-08-11T13:35:58Z) - Fusion-fission forecasts when AI will shift to undesirable behavior [0.0]
社会全体でChatGPTのようなAIが利用している主な問題は、その行動が望ましいものから望ましくないものへと変化し、気付かないものへと変化することである。
生体およびアクティブマターシステムで観測される融合分裂群のダイナミクスの一般化ベクトルが、AIの振る舞いの将来の変化を -- そして予測できることを示す。
論文 参考訳(メタデータ) (2026-05-14T00:26:32Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Beyond Preset Identities: How Agents Form Stances and Boundaries in Generative Societies [28.436766185842767]
本稿では,計算仮想エスノグラフィーと定量的社会認知プロファイリングを組み合わせた新しい混合メソドックスフレームワークを提案する。
Innate Value Bias (IVB)、Persuasion Sensitivity、Trust-Action Decoupling (TAD)の3つの新しいメトリクスを形式化する。
発見は静的なプロンプトエンジニアリングの脆弱さを明らかにし、人間とエージェントのハイブリッド社会における動的アライメントの方法論的かつ定量的基盤を提供する。
論文 参考訳(メタデータ) (2026-03-24T16:38:46Z) - HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model [56.4392302336014]
本稿では,外部状態推定を伴わない多種多様なオブジェクトダイナミクス間のロバストな相互作用のためのフレームワークであるHAICを提案する。
我々の重要な貢献は、主観的歴史のみから高次対象状態(速度、加速度)を推定するダイナミクス予測器である。
ヒューマノイドロボットの実験では、HAICはアジャイルタスクで高い成功率を達成する。
論文 参考訳(メタデータ) (2026-02-12T09:34:35Z) - Human-AI Collaborative Uncertainty Quantification [26.38833436936642]
我々は、AIモデルが人間の専門家の提案する予測セットをいかに洗練するかを形式化するフレームワークであるHuman AI Collaborative Uncertainty Quantificationを紹介する。
最適協調予測セットは1つのスコア関数上の直感的な2つのしきい値構造に従っており、古典的な結果を共形予測で拡張することを示す。
画像分類、回帰、テキストベースの医学的意思決定に関する実験は、協調予測セットがエージェント単独よりも一貫して優れていることを示している。
論文 参考訳(メタデータ) (2025-10-27T16:11:23Z) - The Coming Crisis of Multi-Agent Misalignment: AI Alignment Must Be a Dynamic and Social Process [13.959658276224266]
人間の価値観や好みとAIの整合性は依然として重要な課題だ。
エージェントは互いに関与するので、個々の目標と集合目標の両方を達成するために調整する必要があります。
社会構造は、グループや個人の価値を減らしたり、壊したりすることができる。
私たちは、人間、優先的、客観的なアライメントを相互依存的な概念として扱うようにAIコミュニティに呼びかけます。
論文 参考訳(メタデータ) (2025-06-01T16:39:43Z) - Emergence of human-like polarization among large language model agents [79.96817421756668]
我々は、何千もの大規模言語モデルエージェントを含むネットワーク化されたシステムをシミュレートし、それらの社会的相互作用を発見し、人間のような偏極をもたらす。
人間とLLMエージェントの類似性は、社会的分極を増幅する能力に関する懸念を提起するだけでなく、分極を緩和するためのもっともらしい戦略を識別するための貴重なテストベッドとして機能する可能性も持っている。
論文 参考訳(メタデータ) (2025-01-09T11:45:05Z) - Quantifying Misalignment Between Agents: Towards a Sociotechnical Understanding of Alignment [2.619545850602691]
最近の社会技術的アプローチは、複数の人間とAIエージェント間の複雑なミスアライメントを理解する必要性を強調している。
我々は、人間の競合の計算社会科学モデルをアライメント問題に適用する。
我々のモデルは、潜在的に矛盾する目標を持つ多種多様なエージェントグループにおけるミスアライメントを定量化する。
論文 参考訳(メタデータ) (2024-06-06T16:31:22Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-04-16T11:22:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。