論文の概要: Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis

• arxiv url: http://arxiv.org/abs/2502.05934v2
• Date: Tue, 29 Jul 2025 11:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 14:59:50.963472
• Title: Intrinsic Barriers and Practical Pathways for Human-AI Alignment: An Agreement-Based Complexity Analysis
• Title（参考訳）: ヒューマンAIアライメントのための本質的障壁と実践的経路:合意に基づく複雑度解析
• Authors: Aran Nayebi,
• Abstract要約: 我々はAIアライメントを$langle M,N,varepsilon,deltarangle$-agreementと呼ばれる多目的最適化問題として定式化する。 M$ または $N$ が十分大きいと、相互作用や合理性は本質的にアライメントのオーバーヘッドを回避できないことを示す。
• 参考スコア（独自算出の注目度）: 2.6451153531057985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formalize AI alignment as a multi-objective optimization problem called $\langle M,N,\varepsilon,\delta\rangle$-agreement that generalizes prior approaches with fewer assumptions, in which a set of $N$ agents (including humans) must reach approximate ($\varepsilon$) agreement across $M$ candidate objectives with probability at least $1-\delta$. Using communication complexity, we prove an information-theoretic lower bound demonstrating that once either $M$ or $N$ is large enough, no interaction or rationality can avoid intrinsic alignment overheads. This barrier establishes rigorous intrinsic limits to alignment \emph{itself}, not merely to specific methods, clarifying a crucial ``no free lunch'' principle: encoding ``all human values'' inevitably leads to misalignment, requiring future methods to explicitly manage complexity through consensus-driven reduction or prioritization of objectives. Complementing this impossibility result, we provide explicit algorithms achieving alignment under both computationally unbounded and bounded rationality with noisy messages. Even in these best-case scenarios where alignment to arbitrary precision is theoretically guaranteed, our analysis identifies three critical scalability barriers: the number of tasks ($M$), agents ($N$), and task state space size ($D$); thereby highlighting fundamental complexity-theoretic constraints and providing guidelines for safer, scalable human-AI collaboration.
• Abstract（参考訳）: 我々はAIアライメントを$\langle M,N,\varepsilon,\delta\rangle$-agreementと呼ばれる多目的最適化問題として形式化する。 通信複雑性を用いて,M$ あるいは$N$ のどちらかが十分に大きい場合,相互作用や合理性が本質的なアライメントオーバーヘッドを回避することができないことを示す。 この障壁は、特定のメソッドに限らず、特定のメソッドに限らず、厳密な内在的限界を定め、‘すべての人的価値’をエンコーディングすることは必然的に不一致を招き、コンセンサス駆動の削減や目的の優先順位付けを通じて複雑さを明示的に管理する将来の方法を必要とする。 この不合理性の結果を補うため、計算的非有界有理性と有界有理性の両方をノイズのあるメッセージで整合させる明示的なアルゴリズムを提供する。 任意の精度の調整が理論的に保証されているこれらのベストケースシナリオにおいても、我々の分析では、タスク数(M$)、エージェント数(N$)、タスク状態空間サイズ(D$)の3つの重要なスケーラビリティ障壁を特定しています。

関連論文リスト

• Quantile-Optimal Policy Learning under Unmeasured Confounding [55.72891849926314]
  ここでは,報酬分布が (0, 1) で最大$alpha$-quantileを持つポリシーを見つけることを目標とする量子最適政策学習について検討する。 このような問題は、(i)報酬分布の関数としての量子目標の非線形性、(ii)未観測の共起問題、(iii)オフラインデータセットのカバー不足という3つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2025-06-08T13:37:38Z)
• One-Stage Top-$k$ Learning-to-Defer: Score-Based Surrogates with Theoretical Guarantees [3.6787328174619254]
  最初の1段階のTop-k$ Learning-to-Deferフレームワークを紹介します。 我々は、最もコスト効率の良いエンティティラベルや専門家1人当たりのインプットを$k$で選択するスコアベースの共有モデルを学ぶ。 CIFAR-10とSVHNの実験により、我々の1段階のTop-$k$法がTop-1deferralを厳密に上回っていることを確認した。
  論文  参考訳（メタデータ） (2025-05-15T10:41:16Z)
• When Should We Orchestrate Multiple Agents? [74.27052374196269]
  人間と人工の両方の複数のエージェント間の相互作用を編成する戦略は、パフォーマンスを過大評価し、オーケストレーションのコストを過小評価する。 推論コストや可用性制約といった現実的な条件下でエージェントを編成するフレームワークを設計する。 我々は,エージェント間の性能差やコスト差がある場合にのみ,オーケストレーションが有効であることを理論的に示す。
  論文  参考訳（メタデータ） (2025-03-17T14:26:07Z)
• Research on Superalignment Should Advance Now with Parallel Optimization of Competence and Conformity [30.24208064228573]
  スーパーアライメントは達成可能であり、その研究はすぐに進むべきだと我々は主張する。 この研究は、価値に整合した次世代AIを開発するための実践的なアプローチに光を当てている。
  論文  参考訳（メタデータ） (2025-03-08T04:10:11Z)
• Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
  我々は$f$-divergence-regularized offline policy learningを分析する。 逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。 これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
  論文  参考訳（メタデータ） (2025-02-09T22:14:45Z)
• Theoretical Advantage of Multiobjective Evolutionary Algorithms for Problems with Different Degrees of Conflict [4.8951183832371]
  OneMaxMin$_k$ベンチマーククラスは、COCZとOneMinMaxの一般化版である。 2つの典型的な非MOEAアプローチ、スカラー化(重み付きサム法)と$epsilon$-constraint法が検討されている。 我々は、(G)SEMO、MOEA/D、NSGA-II、SMS-EMOAがパレートフロント全体を$O(maxk,1nln n)$でカバーできることを証明する。
  論文  参考訳（メタデータ） (2024-08-08T04:09:52Z)
• Metareasoning in uncertain environments: a meta-BAMDP framework [1.0923877073891441]
  正しい$P$を見つけることは、推論プロセスの空間上の最適化問題として表すことができる。 本稿では,未知の報酬/遷移分布を持つ環境におけるメタ推論を扱うメタベイズ適応型MDPフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T13:15:01Z)
• Quantifying Misalignment Between Agents: Towards a Sociotechnical Understanding of Alignment [2.619545850602691]
  最近の社会技術的アプローチは、複数の人間とAIエージェント間の複雑なミスアライメントを理解する必要性を強調している。 我々は、人間の競合の計算社会科学モデルをアライメント問題に適用する。 我々のモデルは、潜在的に矛盾する目標を持つ多種多様なエージェントグループにおけるミスアライメントを定量化する。
  論文  参考訳（メタデータ） (2024-06-06T16:31:22Z)
• AI planning in the imagination: High-level planning on learned abstract search spaces [68.75684174531962]
  我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。 本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
  論文  参考訳（メタデータ） (2023-08-16T22:47:16Z)
• Taming AI Bots: Controllability of Neural States in Large Language Models [81.1573516550699]
  まず、分析に適する「意味の形式的定義」を導入する。 そして、大きな言語モデル(LLM)が視覚的に訓練される意味のあるデータ」を特徴付ける。 意味の空間に制限された場合、AIボットは制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-29T03:58:33Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Prioritized SIPP for Multi-Agent Path Finding With Kinematic Constraints [0.0]
  MAPF(Multi-Agent Path Finding)は、ロボティクスと人工知能における長年の問題である。 この問題をある程度緩和する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-11T10:42:11Z)
• CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning [68.74447489372037]
  本稿では,因果探索と反事実推論のためのアルゴリズムの開発を目的とした,高忠実度シミュレーション環境を提案する。 私たちの作業の中核となるコンポーネントは、複雑なシナリオを定義して作成することが簡単になるような、テキストの緊急性を導入することです。 我々は3つの最先端の手法による実験を行い、ベースラインを作成し、この環境の可利用性を強調する。
  論文  参考訳（メタデータ） (2021-06-25T00:21:41Z)
• Multi-Agent Reinforcement Learning with Temporal Logic Specifications [65.79056365594654]
  本研究では,時間論理仕様を満たすための学習課題を,未知の環境下でエージェントのグループで検討する。 我々は、時間論理仕様のための最初のマルチエージェント強化学習手法を開発した。 主アルゴリズムの正確性と収束性を保証する。
  論文  参考訳（メタデータ） (2021-02-01T01:13:03Z)
• Fast Decomposition of Temporal Logic Specifications for Heterogeneous Teams [1.856334276134661]
  我々は,大規模なマルチエージェントパス計画問題を,独立して解決・実行可能なより小さなサブプロブレムに分解することに注力する。 エージェントのミッションは、信号時間論理の断片であるCaTL(Capability Temporal Logic)公式として与えられる。 私たちが取っているアプローチは、時間論理仕様とエージェントのチームの両方を分解することです。
  論文  参考訳（メタデータ） (2020-09-30T18:04:39Z)
• Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal Constraints [52.58352707495122]
  本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。 都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
  論文  参考訳（メタデータ） (2020-05-27T01:10:41Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。