論文の概要: Jointly Modeling Preferences and Imperfect Decision-Making in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.33651v1
• Date: Sat, 24 Oct 2026 13:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.416305
• Title: Jointly Modeling Preferences and Imperfect Decision-Making in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける予測と不完全決定過程の連成モデリング
• Abstract要約: 本稿では、優先表現と、観測された選択からパラメータをキャプチャするメカニズムを組み合わせたPreference-Behavior Modelを提案する。 提案手法により推定された選好はジレンマの振舞いを常に予測しないが,一方のジレンマに収まるモデルは他のジレンマの予測値を保持する。 我々の方法論は、行動の説明を一貫して行う方法、意図した優先順位との整合性を評価し、トレードオフと意図した優先順位を明らかにするためのフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 2.80079640427852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do preferences Large Language Models (LLMs) express in standard elicitation tasks predict their strategic behaviour? LLM agents interacting with humans and other AI systems face potentially conflicting objectives, such as individual welfare, group welfare, and environmental concerns. Prior work characterizes LLM preferences through behavioral-economic and psychological elicitation or strategic games, but rarely tests consistency across settings and prediction in other strategic environments. This requires modeling how competing objectives jointly shape behavior, whereas existing approaches typically measure preference dimensions in isolation. Drawing on utility theory, we introduce the Preference-Behavior Model (PBM), which combines a preference representation with mechanisms capturing imperfect utility maximization. We formulate estimation as an inverse-game problem, jointly inferring preferences and behavioral parameters from observed choices. We evaluate PBM in three social dilemmas that expose conflicting motives: a Public Goods Game, a Collective-Risk Dilemma, and a Common-Pool Resource dilemma. We find that while preferences estimated from established behavioral economic elicitation instruments do not consistently predict behavior in these dilemmas, models fitted in one dilemma retain predictive value in others, suggesting that inferred preferences capture meaningful aspects of LLM decision-making that elicitation instruments may miss. Finally, we assess alignment with persona instructions, finding that inferred preferences broadly reflect intended priorities with specific divergences across dimensions, LLMs, and games being identified by our approach. Our methodology provides a framework for studying how consistently LLM preferences explain behavior, assessing alignment with intended priorities, and revealing trade-offs and behavioral patterns that standard elicitation may miss.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、標準的な推論タスクでその戦略行動を予測するか? 人間や他のAIシステムと相互作用するLLMエージェントは、個人の福祉、グループ福祉、環境問題など、潜在的に矛盾する目標に直面している。 以前の作業では、行動経済的・心理的な推論や戦略ゲームを通じてLLMの嗜好を特徴づけるが、他の戦略的環境における設定や予測の一貫性をテストすることは稀である。 これは、競合する目的が共同で振る舞いを形作る方法のモデリングを必要とするが、既存のアプローチは通常、選好次元を分離して測定する。 実用性理論に基づいて、選好表現と不完全な実用性最大化を捉えるメカニズムを組み合わせたPreference-Behavior Model(PBM)を導入する。 我々は、観察された選択から好みと行動パラメータを共同で推定し、逆ゲーム問題として推定を定式化する。 我々は,対立する動機を明らかにする3つの社会的ジレンマ(Public Goods Game,Collective-Risk Dilemma,Common-Pool Resource Dilemma)でPBMを評価した。 これらのジレンマの振る舞いを常に予測するわけではないが、一方のジレンマに収まるモデルは、他のジレンマの予測値を保ち、推定された嗜好は、このジレンマが見逃す可能性のあるLCM決定の意義ある側面を捉えることを示唆している。 最後に、ペルソナ命令とのアライメントを評価し、推論された選好は、目的の優先順位を、ディメンジョン、LLM、そして我々のアプローチによって特定されるゲームで広く反映していることを見出した。 提案手法は,LCM の嗜好が常に行動を説明するか,意図した優先順位との整合性を評価し,標準適用が欠落する可能性のあるトレードオフや行動パターンを明らかにするための枠組みを提供する。

関連論文リスト

• Decoding the Human Factor: High Fidelity Behavioral Prediction for Strategic Foresight [0.0]
  大規模行動モデル(英: Large Behavioral Model)は、個々の戦略選択を高い忠実度で予測するために微調整された行動基盤モデルである。 我々は、安定した配置、モチベーション状態、観察された選択に対する状況制約をリンクするプロプライエタリなデータセットをトレーニングした。 プロンプトベースのベースラインは複雑さの天井を示すが、LBMはますます高密度な特性プロファイルの恩恵を受け続けている。
  論文  参考訳（メタデータ） (2026-02-19T10:13:17Z)
• Automated Concept Discovery for LLM-as-a-Judge Preference Analysis [21.171990974350773]
  大規模言語モデル(LLM)は、モデル出力のスケーラブルな評価手段として、ますます使われています。 彼らの選好判断は体系的な偏見を示し、人間の評価から分岐することができる。 LLM判定の動作を解析するための埋め込みレベルの概念抽出法について検討した。
  論文  参考訳（メタデータ） (2026-02-09T20:55:16Z)
• LLM Active Alignment: A Nash Equilibrium Perspective [34.54084293479338]
  我々は,大規模言語モデルの振る舞いを予測・操るゲーム理論フレームワークを開発した。 エージェントは、どのグループと整合するかを積極的に戦略的に選択し、解釈可能で行動的な政策クラスを得る。
  論文  参考訳（メタデータ） (2026-02-06T16:26:03Z)
• Preference Learning for AI Alignment: a Causal Perspective [55.2480439325792]
  私たちはこの問題を因果パラダイムに枠組み化し、永続的な課題を特定するための因果関係の豊富なツールボックスを提供します。 因果推論の文献を継承し、信頼性の高い一般化に必要な重要な仮定を特定する。 そこで本研究では, 因果関係に基づくアプローチがモデルロバスト性をいかに改善するかを, ナイーブ報酬モデルの障害モードを例示する。
  論文  参考訳（メタデータ） (2025-06-06T10:45:42Z)
• What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context [56.590259941275434]
  RecPOは、シーケンシャルなレコメンデーションのための優先順位最適化フレームワークである。 これは、推定された嗜好階層と時間信号に基づいて適応的な報酬マージンを利用する。 タイムリーな満足感、コヒーレントな嗜好の維持、変化する状況下での識別の行使など、人間の意思決定の重要な特徴を反映している。
  論文  参考訳（メタデータ） (2025-06-02T21:09:29Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Systematic Characterization of the Effectiveness of Alignment in Large Language Models for Categorical Decisions [0.0]
  本稿では,大規模言語モデル(LLM)において,医学的トリアージによるカテゴリー決定における選好アライメントを評価するための体系的手法を適用した。 また、アライメント手順が特定のモデルのアライメントをどのように効率的に変更するかを測定する。 その結果、モデル間のアライメントの有効性とアライメントアプローチの相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-18T19:03:04Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Do Large Language Models Learn Human-Like Strategic Preferences? [0.0]
  LLMは、戦略的シナリオにおいて人間のような選好判断をすることを学ぶ。 太陽とミストラルは、人間と一致した安定な値に基づく嗜好を示す。
  論文  参考訳（メタデータ） (2024-04-11T19:13:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。