論文の概要: PRISM: Perspective Reasoning for Integrated Synthesis and Mediation as a Multi-Perspective Framework for AI Alignment
- arxiv url: http://arxiv.org/abs/2503.04740v1
- Date: Wed, 05 Feb 2025 02:13:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-16 22:53:28.811092
- Title: PRISM: Perspective Reasoning for Integrated Synthesis and Mediation as a Multi-Perspective Framework for AI Alignment
- Title（参考訳）: PRISM:AIアライメントのための多視点フレームワークとしての統合合成とメディエーションのためのパースペクティブ推論
- Authors: Anthony Diamond,
- Abstract要約: Perspective Reasoning for Integrated Synthesis and Mediation (PRISM)は、AIアライメントにおける永続的な課題に対処するフレームワークである。
PRISMは道徳的懸念を7つの「基本世界観」にまとめ、それぞれが人間の道徳的認知の異なる次元を捉えていると仮定している。
現実の展開や形式的検証など,今後の方向性を概説するとともに,マルチパースペクティブな合成とコンフリクトの仲介に重点を置きながら,今後の方向性を概説する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we propose Perspective Reasoning for Integrated Synthesis and Mediation (PRISM), a multiple-perspective framework for addressing persistent challenges in AI alignment such as conflicting human values and specification gaming. Grounded in cognitive science and moral psychology, PRISM organizes moral concerns into seven "basis worldviews", each hypothesized to capture a distinct dimension of human moral cognition, ranging from survival-focused reflexes through higher-order integrative perspectives. It then applies a Pareto-inspired optimization scheme to reconcile competing priorities without reducing them to a single metric. Under the assumption of reliable context validation for robust use, the framework follows a structured workflow that elicits viewpoint-specific responses, synthesizes them into a balanced outcome, and mediates remaining conflicts in a transparent and iterative manner. By referencing layered approaches to moral cognition from cognitive science, moral psychology, and neuroscience, PRISM clarifies how different moral drives interact and systematically documents and mediates ethical tradeoffs. We illustrate its efficacy through real outputs produced by a working prototype, applying PRISM to classic alignment problems in domains such as public health policy, workplace automation, and education. By anchoring AI deliberation in these human vantage points, PRISM aims to bound interpretive leaps that might otherwise drift into non-human or machine-centric territory. We briefly outline future directions, including real-world deployments and formal verifications, while maintaining the core focus on multi-perspective synthesis and conflict mediation.
- Abstract（参考訳）: 本研究では、人間の価値観の対立や仕様ゲームといったAIアライメントにおける永続的な課題に対処する多視点的フレームワークである、統合合成・メディエーションのためのパースペクティブ・リ推論(PRISM)を提案する。
認知科学と道徳心理学を基礎として、PRISMは道徳的懸念を7つの「基本世界観」に分類し、それぞれが人間の道徳的認知の異なる次元を捉えていると仮説を立てている。
その後、パレートにインスパイアされた最適化スキームを適用して、競合する優先順位を1つの計量に減らさずに調整する。
堅牢な使用のための信頼性の高いコンテキスト検証の仮定の下で、このフレームワークは、視点固有の応答を導き、それらをバランスの取れた結果に合成し、透明で反復的な方法で残ったコンフリクトを仲介する構造化されたワークフローに従う。
認知科学、道徳心理学、神経科学からの道徳認知への階層的なアプローチを参照することにより、PRISMは異なる道徳ドライブがどのように相互作用し、体系的に文書化され、倫理的トレードオフを仲介するかを明確にする。
公共衛生政策や職場の自動化,教育といった分野における古典的なアライメント問題にPRISMを適用し,作業プロトタイプの実際のアウトプットを通じてその有効性を説明する。
PRISMの狙いは、人間以外の領域や機械中心の領域に漂着するかもしれない解釈的跳躍を束縛することにある。
現実の展開や形式的検証など,今後の方向性を概説するとともに,マルチパースペクティブな合成とコンフリクトの仲介に重点を置きながら,今後の方向性を概説する。
関連論文リスト
- The Convergent Ethics of AI? Analyzing Moral Foundation Priorities in Large Language Models with a Multi-Framework Approach [6.0972634521845475]
本稿では,Reasoning and Intrinsic Moral Evaluation (PRIME)フレームワークについて紹介する。
PRIMEは、基本的な倫理的側面をまたいだ倫理的優先順位を分析するための包括的な方法論である。
我々はこのフレームワークを6つの主要な大規模言語モデル (LLM) に適用する。
論文 参考訳（メタデータ） (2025-04-27T14:26:48Z) - Trustworthy AI Must Account for Intersectionality [5.244769696325465]
信頼できるAIは、公正性、プライバシ、堅牢性、説明可能性、不確実性定量化など、AIシステムを人間の価値と整合させるという願望的な側面を含んでいる。
ある側面を強化するための努力は、しばしば意図しないトレードオフを導入し、他人に悪影響を及ぼし、すべての側面を同時に改善することは困難になります。
我々は、それぞれの軸に沿った信頼に対処するには不十分な立場にある。代わりに、信頼に値するAIの研究は、アスペクト間の交差性を考慮し、すべての関連する軸を同時に総合的な視点を採用する必要がある。
論文 参考訳（メタデータ） (2025-04-09T18:00:00Z) - The Superalignment of Superhuman Intelligence with Large Language Models [63.96120398355404]
我々は,この疑問に答えるために,学習の観点からスーパーアライメントの概念について議論する。
スーパーアライメントにおけるいくつかの重要な研究課題、すなわち、弱いから強い一般化、スケーラブルな監視、評価に焦点を当てる。
本稿では,学習者モデルの弱点を露呈しようとする敵対的クエリを生成する攻撃者,最小限の人間専門家とともに,批判モデルによって生成されたスケーラブルなフィードバックから学習することで自己を洗練させる学習者,与えられた質問応答対に対する批判や説明を生成する批判者,そして批判によって学習者を改善することを目的とした,3つのモジュールからなるスーパーアライメントの概念的枠組みを提案する。
論文 参考訳（メタデータ） (2024-12-15T10:34:06Z) - Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。
人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。
我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
論文 参考訳（メタデータ） (2024-06-13T16:03:25Z) - A Moral Imperative: The Need for Continual Superalignment of Large Language Models [1.0499611180329806]
スーパーアライメント(Superalignment)は、超知能AIシステムが人間の価値観や目標に応じて行動することを確実にする理論フレームワークである。
本稿では,AIシステム,特に大規模言語モデル(LLM)における生涯的スーパーアライメントの実現に関わる課題について検討する。
論文 参考訳（メタデータ） (2024-03-13T05:44:50Z) - Hybrid Approaches for Moral Value Alignment in AI Agents: a Manifesto [3.7414804164475983]
次世代人工知能(AI)システムの安全性確保への関心が高まっているため、自律エージェントに道徳を埋め込む新しいアプローチが求められている。
連続体としてモデル化された機械に道徳を導入する問題に対する既存のアプローチの体系化を提供する。
我々は、適応可能で堅牢だが制御可能で解釈可能なエージェントシステムを構築するために、よりハイブリッドなソリューションが必要であると論じている。
論文 参考訳（メタデータ） (2023-12-04T11:46:34Z) - AI Alignment: A Comprehensive Survey [70.35693485015659]
AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。
AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。
我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
論文 参考訳（メタデータ） (2023-10-30T15:52:15Z) - Predictable Artificial Intelligence [77.1127726638209]
本稿では予測可能なAIのアイデアと課題を紹介する。
それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。
予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
論文 参考訳（メタデータ） (2023-10-09T21:36:21Z) - Factoring the Matrix of Domination: A Critical Review and Reimagination
of Intersectionality in AI Fairness [55.037030060643126]
間欠性は、社会的不平等の持続性を調べるための重要な枠組みである。
我々は、公平性を効果的に運用するために、交差性を分析的枠組みとして採用することが重要であると論じる。
論文 参考訳（メタデータ） (2023-03-16T21:02:09Z) - Fairness in Agreement With European Values: An Interdisciplinary
Perspective on AI Regulation [61.77881142275982]
この学際的立場の論文は、AIにおける公平性と差別に関する様々な懸念を考察し、AI規制がそれらにどう対処するかについて議論する。
私たちはまず、法律、(AI)産業、社会技術、そして(道徳)哲学のレンズを通して、AIと公正性に注目し、様々な視点を提示します。
我々は、AI公正性の懸念の観点から、AI法の取り組みを成功に導くために、AIレギュレーションが果たす役割を特定し、提案する。
論文 参考訳（メタデータ） (2022-06-08T12:32:08Z) - End-to-End Learning and Intervention in Games [60.41921763076017]
ゲームにおける学習と介入のための統一的なフレームワークを提供する。
明示的および暗黙的な区別に基づく2つのアプローチを提案する。
分析結果は、実世界のいくつかの問題を用いて検証される。
論文 参考訳（メタデータ） (2020-10-26T18:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。