論文の概要: What Do People Actually Want From AI? Mapping Preference Plurality

• arxiv url: http://arxiv.org/abs/2606.06674v1
• Date: Thu, 04 Jun 2026 19:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.422138
• Title: What Do People Actually Want From AI? Mapping Preference Plurality
• Title（参考訳）: 人間はAIに何を望んでいるのか?
• Authors: Julia Sepúlveda Coelho, Scott A. Hale,
• Abstract要約: 75か国にわたるPRISMデータセットからの1500のオープンエンドレスポンスを分析し、AIシステムから人々が実際に何を望んでいるかを調べる。 ほとんどの値は回答者の4分の1以下で、唯一の例外は49%です。 特定の機能、すなわち人間のようなモデルがどのように振る舞うか、そしてガードレールのようないくつかの機能は、完全に議論の余地がある。
• 参考スコア（独自算出の注目度）: 4.973144469436077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are often fine-tuned through Reinforcement Learning from Human Feedback (RLHF) to align with people's preferences and values. However, this method has known limitations: it aggregates conflicting preferences, often relies on unrepresentative samples, and uses only binary comparisons. Analysing 1,500 open-ended responses from the PRISM dataset across 75 countries, we examine what people actually want from AI systems and reveal concrete failures of current methods. We find that different people want different things: most values are requested by fewer than a quarter of respondents, with truthfulness the sole exception at 49%. Furthermore, the same words hide divergent meanings: when people describe what they mean by "truthfulness", they reveal distinct, potentially incompatible, epistemological bases, as some ask for sourced claims, some for expert opinions, and some even ask for unpopular views. Certain capabilities, namely how human-like a model behaves, and some features, like AI guardrails, are outright controversial, with some desiring them and others rejecting them. We additionally find that people often use contextual distinctions (what AI should do "by default" versus "if requested") that binary comparisons cannot capture. These findings expose fundamental problems in current alignment practices. When 49% request truthfulness but define it differently, this is unlikely to be captured by a single reward model. The persistence of high hallucination rates in well-funded models, despite users' clear demands for accuracy, suggests that current methods fail to identify actual preferences. This paper sheds light on the situated, contested, imperfect signals that are currently being flattened into universal preference models, a practice others have characterised as epistemic violence.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人の好みや価値観に合わせて強化学習(Reinforcement Learning from Human Feedback、RLHF)を通じて微調整されることが多い。 しかし、この方法には既知の制限があり、矛盾する選好を集約し、しばしば非表現的なサンプルに依存し、バイナリ比較のみを使用する。 75カ国にわたるPRISMデータセットからの1500のオープンエンドレスポンスを分析し、AIシステムから実際に何を望むのかを調べ、現在の方法の具体的な失敗を明らかにする。 ほとんどの値が回答者の4分の1未満によって要求され、真実性だけが49%の例外です。 さらに、同じ言葉が「真実性」によって意味を語るとき、彼らは異なる、潜在的に相容れない、認識論的基盤を明らかにし、ある者は根拠のある主張を求め、ある者は専門家の意見を求め、またある者は不人気な見解を求める。 特定の機能、すなわち、人間のようなモデルがどのように振る舞うか、そしてAIガードレールのようないくつかの機能は、完全に議論の余地がある。 また、人々は文脈的な区別(AIが"デフォルトで"すべきもの"と"要求された場合"の区別)をしばしば使用し、バイナリ比較はキャプチャできないことに気付きます。 これらの知見は、現在のアライメントの実践における根本的な問題を浮き彫りにした。 49%が真実を要求し、異なる方法で定義する場合、これは単一の報酬モデルによって取得される可能性は低い。 高い幻覚率の持続性は、利用者の正確性に対する明確な要求にもかかわらず、現在の方法が実際の嗜好を識別できないことを示唆している。 この論文は、現在普遍的な嗜好モデルにフラット化されている位置、競合する、不完全な信号に光を当てる。

関連論文リスト

• Beyond Human Judgment: A Bayesian Evaluation of LLMs' Moral Values Understanding [1.7635992653738075]
  我々はアノテータ不一致をモデル化し、アレタリック不一致(遺伝性ヒト不一致)とてんかん不一致(モデルドメイン感度)の両方を捉える。 我々は、ソーシャルネットワーク、ニュース、フォーラムにまたがる100K以上のテキストにおいて、約700のアノテーションから250K以上のアノテーションにまたがる最高の言語モデルを評価する。 GPUに最適化されたBayesianフレームワークは、1M以上のモデルクエリを処理し、AIモデルが人間のアノテータの上位25%にランクされ、平均的なバランスの取れた精度よりもはるかに優れた結果が得られた。
  論文  参考訳（メタデータ） (2025-08-19T13:05:48Z)
• Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
  広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。 人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
  論文  参考訳（メタデータ） (2025-07-17T18:56:41Z)
• Empirically evaluating commonsense intelligence in large language models with large-scale human judgments [4.212429064310439]
  本稿では,人工知能における常識評価手法を提案する。 モデルの判断と人口の対応を計測する。 私たちのフレームワークは、異なる、しばしば互換性のない、知識の社会的備蓄を持つ人間の集合体にAIモデルを適用することの要求に寄与します。
  論文  参考訳（メタデータ） (2025-05-15T13:55:27Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• Inverse Constitutional AI: Compressing Preferences into Principles [37.28372419588119]
  Inverse Constitutional AI (ICAI) 問題を導入し、一対のテキスト嗜好データの解釈を圧縮タスクとして定式化する。 コンスティチューションAIでは、フィードバックと微調整AIモデルを提供するために、一連の原則(コンスティチューション)が使用される。 対応するICAIアルゴリズムを提案し,その生成した構成を複数のデータセットで検証する。
  論文  参考訳（メタデータ） (2024-06-02T11:54:50Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。