論文の概要: Are We Aligned? A Preliminary Investigation of the Alignment of Responsible AI Values between LLMs and Human Judgment

• arxiv url: http://arxiv.org/abs/2511.04157v1
• Date: Thu, 06 Nov 2025 08:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.35578
• Title: Are We Aligned? A Preliminary Investigation of the Alignment of Responsible AI Values between LLMs and Human Judgment
• Title（参考訳）: 適応しているか? LLMと人間の判断の責任AI値のアライメントに関する予備的検討
• Authors: Asma Yamani, Malak Baslyman, Moataz Ahmed,
• Abstract要約: 大規模言語モデル(LLM)は、要求の導出、設計、評価といったソフトウェア工学のタスクにますます採用されている。 本研究では、LLMの価値観が、米国代表のサンプルとAI実践者の2つの人間のグループとどのように一致しているかを検討する。
• 参考スコア（独自算出の注目度）: 2.1665689529884697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly employed in software engineering tasks such as requirements elicitation, design, and evaluation, raising critical questions regarding their alignment with human judgments on responsible AI values. This study investigates how closely LLMs' value preferences align with those of two human groups: a US-representative sample and AI practitioners. We evaluate 23 LLMs across four tasks: (T1) selecting key responsible AI values, (T2) rating their importance in specific contexts, (T3) resolving trade-offs between competing values, and (T4) prioritizing software requirements that embody those values. The results show that LLMs generally align more closely with AI practitioners than with the US-representative sample, emphasizing fairness, privacy, transparency, safety, and accountability. However, inconsistencies appear between the values that LLMs claim to uphold (Tasks 1-3) and the way they prioritize requirements (Task 4), revealing gaps in faithfulness between stated and applied behavior. These findings highlight the practical risk of relying on LLMs in requirements engineering without human oversight and motivate the need for systematic approaches to benchmark, interpret, and monitor value alignment in AI-assisted software development.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、要件の付与、設計、評価といったソフトウェアエンジニアリングタスクにますます採用され、AIの責任を負う価値に関する人間の判断との整合性に関する批判的な疑問が提起されている。 本研究では、LLMの価値観が、米国代表のサンプルとAI実践者の2つの人間のグループとどのように一致しているかを検討する。 我々は、4つのタスクにわたる23のLCMを評価し、(T1)主要な責任を持つAI値の選択、(T2)特定の文脈におけるその重要性の評価、(T3)競合する値間のトレードオフの解消、(T4)それらの値を具現化するソフトウェア要件の優先順位付けを行う。 結果は、LLMが米国を代表するサンプルよりも一般的にAI実践者と緊密に連携し、公正さ、プライバシー、透明性、安全性、説明責任を強調していることを示している。 しかし、LCMが主張する値(タスク1-3)と、要求の優先順位付け方法(タスク4)の間に矛盾が生じ、記述された行動と適用された行動の忠実性のギャップが明らかになる。 これらの知見は、人間の監視なしに要求エンジニアリングにおいてLCMに頼ることの実践的リスクを強調し、AI支援ソフトウェア開発における価値アライメントをベンチマーク、解釈、監視するための体系的なアプローチの必要性を動機付けている。

関連論文リスト

• Evaluating AI Alignment in Eleven LLMs through Output-Based Analysis and Human Benchmarking [0.0]
  大規模言語モデル(LLM)は、心理学的な研究や実践にますます使われているが、従来のベンチマークでは、実際の相互作用で表現される価値についてはほとんど明らかにされていない。 LLMが表現する値の出力に基づく評価であるPAPERSを導入する。
  論文  参考訳（メタデータ） (2025-06-14T20:14:02Z)
• Sustainability via LLM Right-sizing [21.17523328451591]
  大規模言語モデル(LLM)はますます組織に組み込まれている。 本研究は,10の日常業務において,プロプライエタリでオープンウェイトなLDMを11個評価することによって,実証的な回答を提供する。 その結果, GPT-4oは高い性能を保ちながら, コストと環境のフットプリントが著しく高いことがわかった。
  論文  参考訳（メタデータ） (2025-04-17T04:00:40Z)
• CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives [3.7931130268412194]
  CLASHは345個のハイインパクトジレンマと3,795個の異なる値の個々の視点からなるデータセットである。 CLASHは、価値に基づく意思決定プロセスの批判的かつ未調査な側面の研究を可能にする。 GPT-5やClaude-4-Sonnetのような強力なプロプライエタリモデルでさえ、曖昧な決定に苦戦している。
  論文  参考訳（メタデータ） (2025-04-15T02:54:16Z)
• Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。 価値を人間に合わせることは 責任ある開発に欠かせないものになっています 3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Large Language Models as Automated Aligners for benchmarking Vision-Language Models [48.4367174400306]
  VLM(Vision-Language Models)は新しいレベルの高度化に達し、複雑な認知と推論タスクの実行において顕著な能力を示している。 既存の評価ベンチマークは、厳密で手作りのデータセットを主に頼りにしており、人為的なモデルと人間の知性との整合性を評価する上で、重大な制限に直面している。 本研究では,LLMを有能なキュレーションとして探求し,自動データキュレーションとアセスメントによってVLMと人間の知性と価値のアライメントを測定するAuto-Benchを用いて,その限界に対処する。
  論文  参考訳（メタデータ） (2023-11-24T16:12:05Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。