論文の概要: Toward a Theory of Value in AI Alignment

• arxiv url: http://arxiv.org/abs/2608.10327v1
• Date: Mon, 10 Aug 2026 23:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.85142
• Title: Toward a Theory of Value in AI Alignment
• Title（参考訳）: AIアライメントにおける価値の理論に向けて
• Abstract要約: 大規模言語モデルの普及は、有害なスピーチや幻覚から、不正な行動を実行するAIエージェントまで、害が増加している。 AIの安全性の分野では、これらの有害なインスタンスはアライメント問題として、あるいは人間の価値観と不一致しているモデルのフレーム化されることが多い。 AIの価値アライメントの分野は、人間の価値をどのように考えていますか? 我々は、AIにおける価値の暗黙的理論を明らかにするために94の値アライメント研究論文を注釈付けした。
• 参考スコア（独自算出の注目度）: 8.20706299979115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can AI systems be aligned to human values? The popularization of large language models (LLMs) and multi-modal foundation models has seen a rise in harms spanning from toxic speech and hallucinations to AI agents executing unauthorized actions. Within the field of AI safety, these harmful instances are often framed as the alignment problem, or of models being misaligned with human values. Researchers have responded by pursuing applied and theoretical AI value alignment efforts, often without specifying what they mean by human values. How does the field of AI value alignment conceive of human values? How are these conceptions of values technically operationalized and evaluated? What does the emergent theory of value from this field signify for the future of AI? We annotated 94 value alignment research papers to discern their implicit theory of values in AI. The majority do not define values, relying heavily on preferences as a stand in that runs the risk of reducing complex culturally situated concepts down to binary choices. As researchers dispense with using human annotators for model training and evaluation, turning instead to synthetic data and autorater approaches to aligning and evaluating models, we identify the potential to close off alternative methods for contesting and enacting values in foundation models. In making AI value alignments philosophical commitments explicit, we seek to bring great specificity and under explored perspectives in the debate on whether and how AI can address human values.
• Abstract（参考訳）: AIシステムは人間の価値に整合できるのか? 大規模言語モデル(LLM)やマルチモーダル基盤モデルの普及は、有害なスピーチや幻覚から、不正なアクションを実行するAIエージェントまで、害が増加している。 AIの安全性の分野では、これらの有害なインスタンスはアライメント問題として、あるいは人間の価値観と不一致しているモデルのフレーム化されることが多い。 研究者は応用的、理論的AI価値アライメントの取り組みを追求し、しばしば人間の価値の意味を特定せずに対応している。 AIの価値アライメントの分野は、人間の価値をどのように考えていますか? これらの価値の概念は技術的に運用され、評価されますか? この分野の創発的価値理論は、AIの未来を表すものなのだろうか? 我々は、AIにおける価値の暗黙的理論を明らかにするために94の値アライメント研究論文を注釈付けした。 大多数は価値を定義しておらず、文化的に位置する複雑な概念を二元選択に還元するリスクを負う立場として、好みに大きく依存している。 モデルトレーニングと評価にヒトアノテータを用いず、代わりに合成データやオートラッターによるモデル調整と評価を行うため、基礎モデルにおける価値の競合と実現のための代替手法をクローズオフする可能性を見出した。 AIの価値アライメントを哲学的コミットメントを明確にする上で、私たちは、AIが人間の価値にどう対処できるかという議論において、大きな特異性をもたらし、検討された視点の下に置くことを目指しています。

関連論文リスト

• AI and My Values: User Perceptions of LLMs' Ability to Extract, Embody, and Explain Human Values from Casual Conversations [9.253070075439746]
  13人の参加者が、AIが人間の価値を理解することを確信した。 私たちは、"Weaponized Empathy"について警告しています。これは、価値に整合するが、福祉に整合したAIで生じる可能性のある、潜在的に危険なデザインパターンです。
  論文  参考訳（メタデータ） (2026-01-30T01:19:54Z)
• Rethinking How AI Embeds and Adapts to Human Values: Challenges and Opportunities [0.6113558800822273]
  AIシステムは長期的な推論を実装し、進化する価値に適応し続けなければならない、と私たちは主張する。 価値アライメントは、人間の価値の完全なスペクトルに対処するためにより多くの理論を必要とする。 我々は、価値アライメントに関連する課題を特定し、価値アライメント研究を進めるための方向性を示す。
  論文  参考訳（メタデータ） (2025-08-23T18:19:05Z)
• Modeling Human Beliefs about AI Behavior for Scalable Oversight [16.068386375496086]
  本研究では,評価者の信念をモデル化し,フィードバックをより確実に解釈することを提案する。 我々は、人間の信念モデルを定式化し、価値学習における理論的役割を分析し、あいまいさが残るときに特徴付ける。 これらの表現は、評価者がAIの振る舞いを誤解している場合でも、人間のフィードバックから正しい値を学ぶために使用することができる。
  論文  参考訳（メタデータ） (2025-02-28T17:39:55Z)
• ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs [16.711615737109977]
  本稿では,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるバリューを紹介する。 実世界の4つのシナリオにまたがって、人間と大規模言語モデル(LLM)の価値アライメントを測定するためにバリューを適用します。
  論文  参考訳（メタデータ） (2024-09-15T02:13:03Z)
• Modelling Human Values for AI Reasoning [2.320648715016106]
  我々は,その明示的な計算表現のために,人間の値の形式モデルを詳述する。 我々は、このモデルが、価値に対するAIベースの推論の基礎となる装置をいかに提供できるかを示す。 我々は、AIにおける人間の価値を統合し、学際的に研究するためのロードマップを提案する。
  論文  参考訳（メタデータ） (2024-02-09T12:08:49Z)
• Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
  価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。 統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
  論文  参考訳（メタデータ） (2023-09-02T01:24:59Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
  3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。 次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。 模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• Aligning AI With Shared Human Values [85.2824609130584]
  私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。 現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。 私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
  論文  参考訳（メタデータ） (2020-08-05T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。