Fugu-MT 論文翻訳(概要): Large-scale moral machine experiment on large language models

論文の概要: Large-scale moral machine experiment on large language models

arxiv url: http://arxiv.org/abs/2411.06790v1
Date: Mon, 11 Nov 2024 08:36:49 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-12 14:12:27.488141
Title: Large-scale moral machine experiment on large language models
Title（参考訳）: 大規模言語モデルにおける大規模モラルマシン実験
Authors: Muhammad Shahrul Zaim bin Ahmad, Kazuhiro Takemoto,
Abstract要約: 自律運転シナリオにおける51種類の大規模言語モデル(LLM)の道徳的判断を評価する。プロプライエタリなモデルとオープンソースモデルは100億以上のパラメータを持ち、人間の判断と比較的密接な一致を示した。しかし、モデル更新は人間の嗜好との整合性を一貫して改善しておらず、多くのLCMは特定の倫理的原則に過度に重点を置いている。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The rapid advancement of Large Language Models (LLMs) and their potential integration into autonomous driving systems necessitates understanding their moral decision-making capabilities. While our previous study examined four prominent LLMs using the Moral Machine experimental framework, the dynamic landscape of LLM development demands a more comprehensive analysis. Here, we evaluate moral judgments across 51 different LLMs, including multiple versions of proprietary models (GPT, Claude, Gemini) and open-source alternatives (Llama, Gemma), to assess their alignment with human moral preferences in autonomous driving scenarios. Using a conjoint analysis framework, we evaluated how closely LLM responses aligned with human preferences in ethical dilemmas and examined the effects of model size, updates, and architecture. Results showed that proprietary models and open-source models exceeding 10 billion parameters demonstrated relatively close alignment with human judgments, with a significant negative correlation between model size and distance from human judgments in open-source models. However, model updates did not consistently improve alignment with human preferences, and many LLMs showed excessive emphasis on specific ethical principles. These findings suggest that while increasing model size may naturally lead to more human-like moral judgments, practical implementation in autonomous driving systems requires careful consideration of the trade-off between judgment quality and computational efficiency. Our comprehensive analysis provides crucial insights for the ethical design of autonomous systems and highlights the importance of considering cultural contexts in AI moral decision-making.
Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩と、自動運転システムへの潜在的な統合は、彼らの道徳的な意思決定能力を理解する必要がある。前回の調査では,Moral Machine 実験フレームワークを用いた4つの顕著な LLM について検討したが,LLM 開発の動的景観はより包括的解析を必要とする。本稿では、51の異なるLCM(GPT, Claude, Gemini)とオープンソースの代替品(Llama, Gemma)の複数バージョンを含む道徳的判断を評価し、自動運転シナリオにおける人間の道徳的嗜好との整合性を評価する。コンジョイント分析フレームワークを用いて、倫理ジレンマにおけるLLM応答が人間の嗜好とどの程度密接に一致しているかを評価し、モデルサイズ、更新、アーキテクチャの影響について検討した。その結果、プロプライエタリモデルとオープンソースモデルは、人間の判断と相対的に密接な一致を示し、オープンソースモデルでは、モデルサイズと人的判断からの距離との間に有意な負の相関が認められた。しかし、モデル更新は人間の嗜好との整合性を一貫して改善しておらず、多くのLCMは特定の倫理的原則に過度に重点を置いている。これらの結果から, モデルサイズの増加は自然に人間的な道徳的判断につながるが, 自律運転システムにおける実践的実装には, 判定品質と計算効率のトレードオフを慎重に検討する必要があることが示唆された。我々の包括的分析は、自律システムの倫理設計に重要な洞察を与え、AIの道徳的意思決定における文化的文脈を考えることの重要性を強調します。

関連論文リスト

MoralBench: Moral Evaluation of LLMs [34.43699121838648]
本稿では,大規模言語モデル(LLM)の道徳的推論能力の測定と比較を目的とした新しいベンチマークを提案する。 LLMの出力の道徳的次元を探索するために特別に計算された最初の包括的データセットを示す。本手法は, 定量的分析と倫理学者の質的洞察を組み合わせることで, モデル性能の徹底的な評価を確実にする多面的手法である。
論文参考訳（メタデータ） (2024-06-06T18:15:01Z)
Exploring and steering the moral compass of Large Language Models [55.2480439325792]
大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
論文参考訳（メタデータ） (2024-05-27T16:49:22Z)
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文参考訳（メタデータ） (2024-04-19T09:44:51Z)
A Moral Imperative: The Need for Continual Superalignment of Large Language Models [1.0499611180329806]
スーパーアライメント(Superalignment)は、超知能AIシステムが人間の価値観や目標に応じて行動することを確実にする理論フレームワークである。本稿では,AIシステム,特に大規模言語モデル(LLM)における生涯的スーパーアライメントの実現に関わる課題について検討する。
論文参考訳（メタデータ） (2024-03-13T05:44:50Z)
MONAL: Model Autophagy Analysis for Modeling Human-AI Interactions [11.972017738888825]
大規模モデルの自己消費説明のためのモデルオートファジー分析(MONAL)を提案する。 MONALは、人間とAIシステム間の交換における人為的な情報の抑制を解明するために、2つの異なる自己食ループを使用している。生成したモデルのキャパシティを,情報作成者とディスセミネータの両方として評価する。
論文参考訳（メタデータ） (2024-02-17T13:02:54Z)
On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
論文参考訳（メタデータ） (2023-12-12T16:17:15Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
The Moral Machine Experiment on Large Language Models [0.0]
本研究は,大規模言語モデル(LLM)の倫理的意思決定傾向を検討するために,モラルマシンフレームワークを利用した。 LLMとヒトの嗜好は広く一致しているが、特にPaLM 2とLlama 2は相違点が異なる。これらの知見は、LLMの倫理的枠組みと、その自律運転への潜在的影響を解明する。
論文参考訳（メタデータ） (2023-09-12T04:49:39Z)
Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-05-04T17:59:28Z)
DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。