論文の概要: ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs

• arxiv url: http://arxiv.org/abs/2409.09586v2
• Date: Wed, 16 Apr 2025 21:50:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:34:25.096871
• Title: ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs
• Title（参考訳）: ValueCompass:人間とLLM間のコンテキスト値アライメントを測定するフレームワーク
• Authors: Hua Shen, Tiffany Knearem, Reshmi Ghosh, Yu-Ju Yang, Nicholas Clark, Tanushree Mitra, Yun Huang,
• Abstract要約: 本稿では,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるバリューを紹介する。 実世界の4つのシナリオにまたがって、人間と大規模言語モデル(LLM)の価値アライメントを測定するためにバリューを適用します。
• 参考スコア（独自算出の注目度）: 14.621675648356236
• License:
• Abstract: As AI systems become more advanced, ensuring their alignment with a diverse range of individuals and societal values becomes increasingly critical. But how can we capture fundamental human values and assess the degree to which AI systems align with them? We introduce ValueCompass, a framework of fundamental values, grounded in psychological theory and a systematic review, to identify and evaluate human-AI alignment. We apply ValueCompass to measure the value alignment of humans and large language models (LLMs) across four real-world scenarios: collaborative writing, education, public sectors, and healthcare. Our findings reveal concerning misalignments between humans and LLMs, such as humans frequently endorse values like "National Security" which were largely rejected by LLMs. We also observe that values differ across scenarios, highlighting the need for context-aware AI alignment strategies. This work provides valuable insights into the design space of human-AI alignment, laying the foundations for developing AI systems that responsibly reflect societal values and ethics.
• Abstract（参考訳）: AIシステムがより高度化するにつれて、さまざまな個人や社会的価値との整合性を確保することがますます重要になる。 しかし、基本的な人間の価値をキャプチャして、AIシステムがそれらと整合する程度を評価するにはどうすればよいのか? 本稿では,人間のAIアライメントを識別・評価するために,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるValueCompassを紹介する。 本研究では,人間と大規模言語モデル(LLM)の価値アライメントを,共同執筆,教育,公共部門,医療の4つの現実シナリオに適用する。 この結果から,人間とLLMの相違点が明らかとなった。例えば,LLMが大半を拒絶した「国家安全」などの評価値が頻繁に支持されている。 また、状況に応じたAIアライメント戦略の必要性を強調しながら、価値がシナリオによって異なることも観察しています。 この研究は、人間とAIの整合性の設計空間に関する貴重な洞察を提供し、社会的価値と倫理を責任を持って反映するAIシステム開発の基礎を築いた。

関連論文リスト

• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Learning Human-like Representations to Enable Learning Human Values [11.236150405125754]
  我々は,人間とAIエージェントの表現的アライメントが人的価値の学習に与える影響を考察する。 このような表現的アライメントは、パーソナライゼーションの文脈において、人間の価値を安全に学習し、探索する上で有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-21T18:31:33Z)
• AI Alignment: A Comprehensive Survey [70.35693485015659]
  AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。 AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。 我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
  論文  参考訳（メタデータ） (2023-10-30T15:52:15Z)
• Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
  価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。 統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
  論文  参考訳（メタデータ） (2023-09-02T01:24:59Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)
• A computational framework of human values for ethical AI [3.5027291542274357]
  価値は倫理的AIを設計する手段を提供する。 値の形式的、計算的な定義はまだ提案されていない。 我々はこれを、社会科学に根ざした形式的な概念的枠組みを通じて解決する。
  論文  参考訳（メタデータ） (2023-05-04T11:35:41Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• The Challenge of Value Alignment: from Fairer Algorithms to AI Safety [2.28438857884398]
  本稿では,AIシステムを人的価値と整合させる方法について論じる。 それは、技術と価値に関するより広い考え方の体系の中に収まる。
  論文  参考訳（メタデータ） (2021-01-15T11:03:15Z)
• Aligning AI With Shared Human Values [85.2824609130584]
  私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。 現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。 私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
  論文  参考訳（メタデータ） (2020-08-05T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。