論文の概要: A Roadmap to Impactful Pluralistic Alignment Research

• arxiv url: http://arxiv.org/abs/2607.22305v1
• Date: Fri, 24 Jul 2026 13:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.138582
• Title: A Roadmap to Impactful Pluralistic Alignment Research
• Title（参考訳）: 衝撃的多面的アライメント研究への道程
• Abstract要約: 複数の価値アライメントが活発な研究課題として浮上している。 しかし、人々が実際に使っているAIシステムのトレーニングや評価を形作ったという公的な証拠はない。 これは多元的アライメントの第一のモチベーションと目標に反する。
• 参考スコア（独自算出の注目度）: 43.31026042225045
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pluralistic value alignment---the goal of building AI systems that represent and serve diverse human values and perspectives---has emerged as an active research agenda. Yet, there's no public evidence that it has shaped the training or evaluation of the AI systems people actually use. We audit the public behavior documents and evaluations of frontier labs, finding none name pluralism as a goal, and as of this writing, no clear indication that production models are explicitly trained or tested for it. This goes against the primary motivations and goals of pluralistic alignment, which revolve around making a positive difference in the models serving billions of users worldwide. We argue that the pluralistic alignment research community should focus on supporting impact and adoption in deployed, widely-used AI systems. We provide evidence for the adoption problem, present three main reasons behind it, and discuss three corresponding areas for future research to address it: 1. The primary justifications for pluralistic alignment so far have been normative or speculative. We need studies showing empirically how pluralistic AI benefits users or society. 2. The pluralistic alignment research community has not settled when pluralistic behavior is warranted or what pluralism ideally looks like in practice. We need to establish a concrete goal for developers to operationalize. 3. Current methods trade off against other desiderata of LLMs in ways that are largely unmeasured, and existing metrics are not "hill-climbable." We need trade-off-aware evaluations and methods that meet the requirements of production systems. This paper serves as a collective call to action for the pluralistic alignment researchers: progress requires moving beyond normative justification toward empirical foundations, a concrete account of ideal pluralistic behavior, and practical methods and evaluations built for adoption.
• Abstract（参考訳）: 複数の価値のアライメント — 多様な人間の価値と視点を表現し、提供するAIシステムを構築するという目標 — が活発な研究課題として浮上した。 しかし、人々が実際に使っているAIシステムのトレーニングや評価を形作ったという公的な証拠はない。 我々は、フロンティア研究所の公的な行動文書と評価を監査し、目標とする名前の多元性は見つからず、本論文の執筆時点では、生産モデルが明示的に訓練されたり、テストされたりしていることを明確に示していない。 これは多元的アライメントの第一の動機と目標に反するものであり、これは世界中の数十億人のユーザーに提供するモデルに肯定的な違いをもたらしている。 我々は、多元的アライメント研究コミュニティが、デプロイされた広く利用されているAIシステムにおける影響と導入をサポートすることに焦点を当てるべきである、と論じる。 採用問題の証拠を提供し、その背景にある3つの主な理由を提示し、それに取り組むための3つの研究領域について論じる。 1. これまでの多元的アライメントの第一の正当性は、規範的又は投機的である。 我々は、複数のAIがユーザーや社会にどのような恩恵をもたらすかを実証的に示す研究が必要である。 2)多元的アライメント研究コミュニティは、多元的行動が保証された場合や、実際どのような多元的行動が理想的であるかを定めていない。 開発者が運用するための具体的な目標を確立する必要があります。 3. 現行の手法は, LLMの他のデシラタとほとんど測定されていない方法でのトレードオフであり, 既存の指標は「ヒルクライミング可能」ではない。 運用システムの要件を満たすトレードオフ評価と方法が必要です。 本論文は,多元的アライメント研究者に対する集団的呼びかけとして,実証的基盤への規範的正当化を超えて,理想的な多元的行動の具体的な説明,採用のための実践的方法と評価が必要である。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• AI Pluralism and the Worlds It Misses [0.0]
  本稿では,価値多元主義,多元的アライメント,参加型・民主型AI,正義,科学・技術研究,説明責任研究,3つの都市AI関連事例にまたがる境界概念的・質的合成を開発する。 PLGは、複数のAIのエビデンスとガバナンス条件を明確にするためのフレームワークである。
  論文  参考訳（メタデータ） (2026-06-15T03:30:48Z)
• Measuring the Machine: Evaluating Generative AI as Pluralist Sociotechical Systems [0.0]
  この論文は、生成的AIは複数の社会技術システムとして評価されなければならないと主張している。 MaSH Loopsは、モデル、ユーザ、組織が意味と価値を共構築する方法をトレースするフレームワークである。 World Values Benchmarkは、World Values Surveyのデータに基づく分散アプローチを導入している。
  論文  参考訳（メタデータ） (2026-04-22T13:29:33Z)
• Jailbreaking Large Language Models with Morality Attacks [6.519904140758793]
  我々は、10.3Kインスタンスを2つのカテゴリに分けたモラル性データセットを開発する。 構築したデータセットを用いて4つの敵攻撃を定式化し、道徳的問題に対するLLMの判断を操る。 実験の結果,これらの微妙で洗練された道徳意識攻撃に対して,LLMやガードレールモデルに致命的な脆弱性があることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T16:22:25Z)
• Reasoning Boosts Opinion Alignment in LLMs [30.074886272342777]
  推論が意見の整合性を改善するかを検討する。 強化学習(RL)によって実現された数学的推論の最近の進歩により、我々は、プロファイルに一貫性のある解を生成するためにモデルを訓練した。 我々は、米国、ヨーロッパ、スイスの政治を対象とする3つのデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-03-01T18:19:44Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• A Roadmap to Pluralistic Alignment [49.29107308098236]
  本稿では,言語モデルをテストベッドとして用いた多元的アライメントのロードマップを提案する。 我々は,AIシステムにおける多元性を定義・運用する3つの可能な方法を特定し,定式化する。 我々は、現在のアライメント技術は、基本的に多元的AIに限られていると論じる。
  論文  参考訳（メタデータ） (2024-02-07T18:21:17Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。