論文の概要: When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.22974v2
• Date: Tue, 23 Jun 2026 05:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.506841
• Title: When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models
• Title（参考訳）: インセンティブ(インセンティブ)への期待が低下する時 - 大規模言語モデルにおけるユーティリティ・ビヘイビアギャップ
• Authors: Yujun Zhou, Christopher M. Ackerman,
• Abstract要約: 現実シナリオにおけるLLM行動のモチベーションとして選好が役立っているかを検討する。 本研究では, LLMの出力品質を調節するために, 直接的誇張や他の明示的な方法を用いて動機付けを行うことが可能であることを示す。 我々は、コヒーレントな選好の存在は、これらの選好がモデルに対してインセンティブ的価値を持つことや、他の文脈における行動に影響を与える証拠とみなすべきではないと結論付けている。
• 参考スコア（独自算出の注目度）: 1.21057012246126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on preference elicitation in large language models (LLMs) has demonstrated that, when given a series of choices between two outcomes, LLMs reveal a coherent, model-specific utility structure. Notably, this structure often includes preferences that the models' trainers did not intend, such as valuing people of some nationalities above others, raising the possibility that LLMs might be forming emergent, misaligned goals, which, if true, would have major safety implications. However, the choice paradigms in which these preferences are observed are not reflective of real-world situations in which misaligned behavior would be a practical concern. Therefore, we design an experimental paradigm to probe whether these preferences serve as motivations for LLM behavior in realistic scenarios. First, we reproduce prior findings on consistent preference elicitation. Next, we create a set of common writing tasks - essays, grant proposal abstracts, incident postmortems, and translations - where quality can be assessed by a blind, independent LLM judge panel. Then, we demonstrate that LLMs can be motivated via direct exhortation and other explicit cues to modulate their output quality on these tasks. Finally, we probe whether utilities inferred from explicitly reported preferences can shift output quality on these tasks by offering LLMs high-utility incentives for high-quality outputs. In all tasks, across all models tested, offering LLMs outcomes that they report in the choice paradigm as being highly preferred does not lead them to create higher quality outputs than offering them dispreferred outcomes, or even no outcomes at all. We conclude that the existence of coherent preferences as demonstrated in choice paradigms should not be taken as evidence that those preferences have incentive value for the models or affect their behavior in other contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)における嗜好推論に関する最近の研究は、2つの結果の間に一連の選択が与えられると、LLMは一貫性のあるモデル固有のユーティリティ構造を明らかにすることを実証している。 特に、この構造は、モデルのトレーナーが意図していないことを好んで含んでおり、例えば、他の民族の人々を評価したり、LSMが創発的で、不整合した目標を形成している可能性を高めたり、もし本当なら、大きな安全性に影響を及ぼす可能性がある。 しかし、これらの選好が観察される選択パラダイムは、誤った行動が現実的な関心事となる現実の状況を反映していない。 そこで本研究では,これらの選好が現実シナリオにおけるLLM行動のモチベーションとなるかどうかを検証するための実験パラダイムを設計する。 まず、一貫した嗜好誘発に関する事前の知見を再現する。 次に、私たちは、エッセイ、提案の要約、インシデント・ポストモーテム、翻訳など、共通の文章作成タスクのセットを作成します。 そこで本研究では,これらのタスクの出力品質を変調するために,直接的誇張や他の明示的な方法を用いてLCMをモチベーションすることができることを示す。 最後に、明示的に報告された選好から推定されるユーティリティーが、高品質なアウトプットのためにLLMの高ユーティリティインセンティブを提供することで、これらのタスクの出力品質をシフトできるかどうかを考察する。 すべてのタスクにおいて、テストされたすべてのモデルにまたがって、LLMの結果を提供することは、選択パラダイムにおいて非常に好まれるとして報告されることは、不適切な結果を提供するか、あるいはまったく結果を与えるよりも、より高い品質のアウトプットを生み出すことにつながらない。 選択パラダイムで示されるコヒーレントな選好の存在は、これらの選好がモデルに対してインセンティブ的価値を持つことや、他の文脈における行動に影響を及ぼす証拠とみなすべきではないと結論付けている。

関連論文リスト

• Alignment Revisited: Are Large Language Models Consistent in Stated and Revealed Preferences? [5.542420010310746]
  批判的だが、未調査の問題は、LLMが明記した嗜好と明らかにした嗜好との潜在的な相違である。 この研究は正式に定義され、この選好偏差を測定する方法を提案する。 我々の研究は、LDMをサービス、特に人間と直接対話するサービスに統合するために不可欠です。
  論文  参考訳（メタデータ） (2025-05-31T23:38:48Z)
• Distributive Fairness in Large Language Models: Evaluating Alignment with Human Values [13.798198972161657]
  多くの社会的問題は資源の分配に関係しており、公平さと経済効率は結果の望ましさにおいて重要な役割を担っている。 本稿では,大規模言語モデル (LLM) が基本的公平性の概念に準拠しているかどうかを考察し,人間の嗜好との整合性について検討する。
  論文  参考訳（メタデータ） (2025-02-01T04:24:47Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• Large Language Models are Biased Reinforcement Learners [0.0]
  大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。 計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-19T01:43:52Z)
• SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses [49.148206387394936]
  モデルでは、初期応答を生成するよりも、以前に生成した代替品間での識別性が確実に向上しないことが示される。 この発見は LLM が自身の判断によってのみ性能を向上させることができるという概念に挑戦する。
  論文  参考訳（メタデータ） (2024-04-04T20:27:37Z)
• A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。