論文の概要: Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis

• arxiv url: http://arxiv.org/abs/2502.05934v2
• Date: Tue, 29 Jul 2025 11:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 14:59:50.963472
• Title: Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis
• Title（参考訳）: ヒューマンAIアライメントのための本質的障壁と実践的経路:合意に基づく複雑度解析
• Authors: Aran Nayebi,
• Abstract要約: 我々はAIアライメントを$langle M,N,varepsilon,deltarangle$-agreementと呼ばれる多目的最適化問題として定式化する。 M$ または $N$ が十分大きいと、相互作用や合理性は本質的にアライメントのオーバーヘッドを回避できないことを示す。
• 参考スコア（独自算出の注目度）: 2.6451153531057985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formalize AI alignment as a multi-objective optimization problem called $\langle M,N,\varepsilon,\delta\rangle$-agreement that generalizes prior approaches with fewer assumptions, in which a set of $N$ agents (including humans) must reach approximate ($\varepsilon$) agreement across $M$ candidate objectives with probability at least $1-\delta$. Using communication complexity, we prove an information-theoretic lower bound demonstrating that once either $M$ or $N$ is large enough, no interaction or rationality can avoid intrinsic alignment overheads. This barrier establishes rigorous intrinsic limits to alignment \emph{itself}, not merely to specific methods, clarifying a crucial ``no free lunch'' principle: encoding ``all human values'' inevitably leads to misalignment, requiring future methods to explicitly manage complexity through consensus-driven reduction or prioritization of objectives. Complementing this impossibility result, we provide explicit algorithms achieving alignment under both computationally unbounded and bounded rationality with noisy messages. Even in these best-case scenarios where alignment to arbitrary precision is theoretically guaranteed, our analysis identifies three critical scalability barriers: the number of tasks ($M$), agents ($N$), and task state space size ($D$); thereby highlighting fundamental complexity-theoretic constraints and providing guidelines for safer, scalable human-AI collaboration.
• Abstract（参考訳）: 我々はAIアライメントを$\langle M,N,\varepsilon,\delta\rangle$-agreementと呼ばれる多目的最適化問題として形式化する。 通信複雑性を用いて,M$ あるいは$N$ のどちらかが十分に大きい場合,相互作用や合理性が本質的なアライメントオーバーヘッドを回避することができないことを示す。 この障壁は、特定のメソッドに限らず、特定のメソッドに限らず、厳密な内在的限界を定め、‘すべての人的価値’をエンコーディングすることは必然的に不一致を招き、コンセンサス駆動の削減や目的の優先順位付けを通じて複雑さを明示的に管理する将来の方法を必要とする。 この不合理性の結果を補うため、計算的非有界有理性と有界有理性の両方をノイズのあるメッセージで整合させる明示的なアルゴリズムを提供する。 任意の精度の調整が理論的に保証されているこれらのベストケースシナリオにおいても、我々の分析では、タスク数(M$)、エージェント数(N$)、タスク状態空間サイズ(D$)の3つの重要なスケーラビリティ障壁を特定しています。

関連論文リスト

• When Should We Orchestrate Multiple Agents? [74.27052374196269]
  人間と人工の両方の複数のエージェント間の相互作用を編成する戦略は、パフォーマンスを過大評価し、オーケストレーションのコストを過小評価する。 推論コストや可用性制約といった現実的な条件下でエージェントを編成するフレームワークを設計する。 我々は,エージェント間の性能差やコスト差がある場合にのみ,オーケストレーションが有効であることを理論的に示す。
  論文  参考訳（メタデータ） (2025-03-17T14:26:07Z)
• Research on Superalignment Should Advance Now with Parallel Optimization of Competence and Conformity [30.24208064228573]
  スーパーアライメントは達成可能であり、その研究はすぐに進むべきだと我々は主張する。 この研究は、価値に整合した次世代AIを開発するための実践的なアプローチに光を当てている。
  論文  参考訳（メタデータ） (2025-03-08T04:10:11Z)
• Quantifying Misalignment Between Agents: Towards a Sociotechnical Understanding of Alignment [2.619545850602691]
  最近の社会技術的アプローチは、複数の人間とAIエージェント間の複雑なミスアライメントを理解する必要性を強調している。 我々は、人間の競合の計算社会科学モデルをアライメント問題に適用する。 我々のモデルは、潜在的に矛盾する目標を持つ多種多様なエージェントグループにおけるミスアライメントを定量化する。
  論文  参考訳（メタデータ） (2024-06-06T16:31:22Z)
• AI planning in the imagination: High-level planning on learned abstract search spaces [68.75684174531962]
  我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。 本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
  論文  参考訳（メタデータ） (2023-08-16T22:47:16Z)
• Taming AI Bots: Controllability of Neural States in Large Language Models [81.1573516550699]
  まず、分析に適する「意味の形式的定義」を導入する。 そして、大きな言語モデル(LLM)が視覚的に訓練される意味のあるデータ」を特徴付ける。 意味の空間に制限された場合、AIボットは制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-29T03:58:33Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Prioritized SIPP for Multi-Agent Path Finding With Kinematic Constraints [0.0]
  MAPF(Multi-Agent Path Finding)は、ロボティクスと人工知能における長年の問題である。 この問題をある程度緩和する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-11T10:42:11Z)
• CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning [68.74447489372037]
  本稿では,因果探索と反事実推論のためのアルゴリズムの開発を目的とした,高忠実度シミュレーション環境を提案する。 私たちの作業の中核となるコンポーネントは、複雑なシナリオを定義して作成することが簡単になるような、テキストの緊急性を導入することです。 我々は3つの最先端の手法による実験を行い、ベースラインを作成し、この環境の可利用性を強調する。
  論文  参考訳（メタデータ） (2021-06-25T00:21:41Z)
• Multi-Agent Reinforcement Learning with Temporal Logic Specifications [65.79056365594654]
  本研究では,時間論理仕様を満たすための学習課題を,未知の環境下でエージェントのグループで検討する。 我々は、時間論理仕様のための最初のマルチエージェント強化学習手法を開発した。 主アルゴリズムの正確性と収束性を保証する。
  論文  参考訳（メタデータ） (2021-02-01T01:13:03Z)
• Fast Decomposition of Temporal Logic Specifications for Heterogeneous Teams [1.856334276134661]
  我々は,大規模なマルチエージェントパス計画問題を,独立して解決・実行可能なより小さなサブプロブレムに分解することに注力する。 エージェントのミッションは、信号時間論理の断片であるCaTL(Capability Temporal Logic)公式として与えられる。 私たちが取っているアプローチは、時間論理仕様とエージェントのチームの両方を分解することです。
  論文  参考訳（メタデータ） (2020-09-30T18:04:39Z)
• Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal Constraints [52.58352707495122]
  本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。 都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
  論文  参考訳（メタデータ） (2020-05-27T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。