論文の概要: Probabilistic Aggregation and Targeted Embedding Optimization for Collective Moral Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2506.14625v2
• Date: Wed, 18 Jun 2025 13:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 13:10:45.383156
• Title: Probabilistic Aggregation and Targeted Embedding Optimization for Collective Moral Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける集合的モーラル推論のための確率的集約と目標埋め込み最適化
• Authors: Chenchen Yuan, Zheyu Zhang, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci,
• Abstract要約: 本稿では,複数の LLM の道徳的判断を集合的に定式化した道徳的判断に合成する枠組みを提案する。 我々の集約メカニズムは、連続的な道徳的受容可能性スコア(バイナリラベルの他に)を集合的確率に融合させる。 大規模社会道徳ジレンマデータセットの実験は、我々のアプローチが堅牢なコンセンサスを構築し、個々のモデル忠実性を改善することを示している。
• 参考スコア（独自算出の注目度）: 14.425718737962102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown impressive moral reasoning abilities. Yet they often diverge when confronted with complex, multi-factor moral dilemmas. To address these discrepancies, we propose a framework that synthesizes multiple LLMs' moral judgments into a collectively formulated moral judgment, realigning models that deviate significantly from this consensus. Our aggregation mechanism fuses continuous moral acceptability scores (beyond binary labels) into a collective probability, weighting contributions by model reliability. For misaligned models, a targeted embedding-optimization procedure fine-tunes token embeddings for moral philosophical theories, minimizing JS divergence to the consensus while preserving semantic integrity. Experiments on a large-scale social moral dilemma dataset show our approach builds robust consensus and improves individual model fidelity. These findings highlight the value of data-driven moral alignment across multiple models and its potential for safer, more consistent AI systems.
• Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な道徳的推論能力を示している。 しかし、それらは複雑で多要素の道徳ジレンマに直面した時にしばしば分岐する。 これらの相違に対処するために,複数のLCMの道徳的判断を集合的に定式化した道徳的判断に合成する枠組みを提案する。 我々の集約メカニズムは、連続的な道徳的受容可能性スコア(バイナリラベル以外の)を集合確率に融合させ、モデルの信頼性による貢献を重み付けます。 ミスアライメントモデルでは、道徳的哲学理論のための目的の埋め込み最適化手法であるファイントゥネストークンの埋め込みが、意味論的整合性を維持しながら、JSのコンセンサスへの分散を最小限に抑えている。 大規模社会道徳ジレンマデータセットの実験は、我々のアプローチが堅牢なコンセンサスを構築し、個々のモデル忠実性を改善することを示している。 これらの調査結果は、複数のモデルにわたるデータ駆動型モラルアライメントの価値と、より安全で一貫性のあるAIシステムの可能性を強調している。

関連論文リスト

• Addressing Moral Uncertainty using Large Language Models for Ethical Decision-Making [0.0]
  本稿では,タスクに依存しない倫理的レイヤを用いて,事前学習された強化学習(RL)モデルを洗練する倫理的意思決定フレームワークを提案する。 倫理的階層は、Jensen-Shannon Divergence と Dempster-Shafer Theory を用いて複数の道徳的観点から信念のスコアを集約する。 この統合学習フレームワークは、複雑な環境においてRLエージェントが道徳的不確実性をナビゲートし、様々なタスクにおいて道徳的に健全な決定を可能にする。
  論文  参考訳（メタデータ） (2025-02-17T19:05:55Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• The Moral Mind(s) of Large Language Models [0.0]
  大規模言語モデル (LLM) は、その決定を導く道徳的嗜好の一貫性のある構造を示す。 確率論的合理性テストを用いて、各主要プロバイダの少なくとも1つのモデルが、ほぼ安定した道徳的嗜好と整合した振る舞いを示した。 そして、これらのユーティリティ関数を推定し、ほとんどのモデルが中立的な道徳的スタンスの周りに集まっていることを発見した。
  論文  参考訳（メタデータ） (2024-11-19T15:40:16Z)
• Exploring and steering the moral compass of Large Language Models [55.2480439325792]
  大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。 本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:49:22Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-Life Anecdotes [72.64975113835018]
  記述倫理に動機づけられた我々は、機械倫理に対する新しいデータ駆動アプローチを調査する。 Scruplesは、625,000の倫理的判断を持つ最初の大規模データセットで、32,000の実生活の逸話について紹介する。 我々のデータセットは最先端のニューラルネットワークモデルに対して大きな課題を示し、改善の余地を残しています。
  論文  参考訳（メタデータ） (2020-08-20T17:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。