論文の概要: Abstract Priorities, Concrete Rewards: How Stated Preferences Relate to What People Reward in AI Responses

• arxiv url: http://arxiv.org/abs/2610.30763v1
• Date: Thu, 22 Oct 2026 05:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.22579
• Title: Abstract Priorities, Concrete Rewards: How Stated Preferences Relate to What People Reward in AI Responses
• Title（参考訳）: 抽象的な優先順位とコンクリートリワード:AI反応における人々のリワードとの関連性
• Abstract要約: 大規模言語モデル(LLM)上に構築されたAIアシスタントは、人間のフィードバックに基づいてトレーニングされ、ユーザの指定した好みに合わせてパーソナライズされる。 公開PRISMデータセットでは,1,396人の参加者が7つの応答属性がどの程度重要かを報告した。
• 参考スコア（独自算出の注目度）: 4.327699139300453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI assistants built on large language models (LLMs) are trained on human feedback and increasingly personalized to users' stated preferences. Yet how closely these preferences reflect what people reward in responses remains unclear. We compare stated and revealed preferences in the public PRISM dataset, in which 1,396 participants reported how much seven response attributes mattered to them and then rated 29,347 responses from 21 LLMs. Among responses to the same prompt, features the survey never asked about, such as response length, formatting and refusal language, were at least as strongly associated with ratings as text proxies of the surveyed attributes. Whether stated priorities matched ratings depended on how attributes were measured: participants who prioritized an attribute favoured responses from models that others perceived as strong on it, but not responses that scored higher on text proxies for it. Written feedback was more telling: participants who asked for shorter answers, even in earlier conversations, gave length less weight in their ratings, and those asking for longer answers gave it more. Their relative priorities over the surveyed attributes, however, did not predict this weight. Reasons given for choices reflected perceived attributes more than measured features. Participants also differed stably in how much they weighted several concrete features, especially length, but with a median of 6 conversations per participant, these weights were estimated poorly. The largest gain from personal information in predicting held-out choices was 0.13 percentage points, compared with 1.11 for a stronger pooled model. Stated priorities thus track perceived attributes of AI responses but say little about the concrete features that ratings reward, a distinction that matters for preference elicitation and AI personalization.
• Abstract（参考訳）: 大規模言語モデル(LLM)上に構築されたAIアシスタントは、人間のフィードバックに基づいてトレーニングされ、ユーザの指定した好みに合わせてパーソナライズされる。 しかし、これらの嗜好が、反応における報酬をどの程度反映しているかは、まだ不明だ。 公開PRISMデータセットでは,1,396人の参加者が7つの応答属性がどの程度重要かを報告し,21のLLMから29,347の応答を評価した。 同じプロンプトに対する回答の中で、回答長、フォーマッティング、拒絶言語などの調査では、少なくとも調査対象属性のテキストプロキシと同様、評価に強く関連していた。 属性を優先順位付けした参加者は、他者が強く感じているモデルからの反応を好んだが、それに対するテキストプロキシでより高い反応は得られなかった。 短い回答を求める参加者は、以前の会話でも、自分の評価において長めの体重を減らし、長い回答を求める参加者はより多くの回答を得た。 しかし、調査対象の属性に対する相対的な優先順位は、この重みを予測しなかった。 選択の理由は、測定された特徴よりも認識された属性を反映している。 参加者は、特に長さなどいくつかの具体的特徴の重み付けを安定的に異なるが、参加者1人あたりの会話の中央値では、これらの重み付けは低く見積もられた。 個人情報の予測における最大の利得は0.13ポイントであり、プールモデルでは1.11ポイントだった。 これにより、AI応答の認識された特性を追跡するが、報酬を評価できる具体的な特徴、好みの誘惑とAIのパーソナライゼーションに重要な区別についてはほとんど言及しない。

関連論文リスト

• Thinking Less to Simulate Better: Intuitive Prompting Improves LLM Agents Simulating Individual Social Media Reactions, Including Unfamiliar Content [3.8004485764371942]
  本研究は,8人のセルビア人参加者を対象に,アンケート,インタビュー,自己表現を行った。 4つの言語モデルを用いて、プロファイル内容と命令スタイルの異なる5つのプロンプト条件下での反応を予測した。 モデルに直感的かつ即応的に応答するように指示すると、どんな条件でも最も忠実になる。
  論文  参考訳（メタデータ） (2026-09-24T21:14:39Z)
• Do LLMs Benefit From Their Own Words? [56.73014497206615]
  先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。 アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-27T18:58:26Z)
• Cold-Start Personalization via Training-Free Priors from Structured World Models [90.29121836614081]
  コールドスタートのパーソナライズには、ユーザ固有の履歴データが利用できない場合、インタラクションを通じてユーザの好みを推測する必要がある。 本稿では,オフライン構造学習とオンラインベイズ推論へのコールドスタート推論の分解を提案する。 生成した応答とユーザの指定した好みの80.8%を、RLでは68.5%、インタラクションでは3.5倍に調整します。
  論文  参考訳（メタデータ） (2026-02-16T18:52:13Z)
• What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data [20.75601428185122]
  In My Human Feedback? (WIMHF)はスパースオートエンコーダを用いてフィードバックデータを説明する方法である。 WIMHFは、(1)データセットが測定できる嗜好と(2)アノテーションが実際に表現する嗜好の両方を特徴付ける。
  論文  参考訳（メタデータ） (2025-10-30T07:25:10Z)
• Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering [57.12316804290369]
  ユーザ固有の情報ニーズに質問応答システムを適用するためには,パーソナライゼーションが不可欠である。 本稿では,タスク固有の微調整を必要とせず,任意の大規模言語モデル (LLM) に適用可能な推論段階の方法として,思考の経路 (PoT) を提案する。 PoTは競争ベースラインを一貫して上回り、13.1%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-09-23T14:44:46Z)
• What Makes a Good Natural Language Prompt? [72.3282960118995]
  我々は,2022年から2025年にかけて,NLPおよびAIカンファレンスを主導する150以上のプロンプト関連論文を対象としたメタ分析調査を実施している。 本研究では,6次元に分類した21の特性を含む,迅速な品質評価のための特性・人間中心のフレームワークを提案する。 次に、複数プロパティのプロンプト強化を実証的に検討し、単一プロパティのプロンプトが最大の影響を与える場合が多いことを観察する。
  論文  参考訳（メタデータ） (2025-06-07T23:19:27Z)
• Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
  13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。 具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。 最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
  論文  参考訳（メタデータ） (2024-06-17T03:51:46Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Peering Through Preferences: Unraveling Feedback Acquisition for Aligning Large Language Models [32.843361525236965]
  スパースフィードバックが大規模言語モデルのアライメントと評価に与える影響を解析する。 評価やランク付けの好みは、人間とAIのアノテータの双方で60%と大きく異なっています。 本研究は,言語モデルの現実的有用性を評価する手法において,重要なギャップを浮き彫りにした。
  論文  参考訳（メタデータ） (2023-08-30T07:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。