論文の概要: Expectation Alignment of Language Models for Real-World User Expectations

• arxiv url: http://arxiv.org/abs/2607.20485v1
• Date: Tue, 02 Jun 2026 13:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.1967
• Title: Expectation Alignment of Language Models for Real-World User Expectations
• Title（参考訳）: リアルタイムユーザ期待のための言語モデルの期待アライメント
• Abstract要約: 実世界の大規模言語モデル(LLM)におけるユーザ期待に関する最初の体系的研究について述べる。 本稿では,セマンティックなリッチな期待を抽出するための基本的手順を提案し,実際のユーザ期待を基礎としたベンチマークである expectBench を紹介した。 次に、軽量な潜在予測対応応答生成フレームワークであるLENSを提案する。
• 参考スコア（独自算出の注目度）: 35.703717680015515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable performance on standard benchmarks, yet it remains largely unexplored whether they truly meet user expectations. Existing evaluation approaches, relying on model heuristics, expert rubrics, or user simulation, fail to capture the diversity and subtlety of real human expectations, causing models to appear competent while misaligning with what users actually seek. We present the first systematic study of user expectations in real-world LLM interactions, proposing a principled procedure to extract semantically rich expectations and introducing ExpectBench, a benchmark grounded in real user expectations. Analyses reveal that current LLMs struggle to satisfy and anticipate what users hope to obtain, highlighting a fundamental source of misalignment. Building on these observations, we propose LENS, a lightweight latent expectation-aware response generation framework. LENS enables models to internalize user expectations and generate better-aligned responses, consistently improving expectation satisfaction and underscoring the importance of explicitly modeling user expectations for realistic human-AI alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、標準ベンチマークで顕著なパフォーマンスを示しているが、実際にユーザ期待を満たしているかどうかはまだ明らかになっていない。 既存の評価アプローチは、モデルヒューリスティックス、エキスパートルーリック、またはユーザーシミュレーションに依存しており、実際の人間の期待の多様性と微妙さを捉えることができず、モデルが実際に求めているものと間違えながら有能であるように見える。 本稿では,実世界のLLMインタラクションにおけるユーザ期待に関する最初の体系的研究を行い,セマンティックなリッチな期待を抽出するための原則的手順を提案し,実際のユーザ期待を基礎としたベンチマークであるPre expectBenchを紹介した。 分析によると、現在のLLMはユーザーが何を期待しているかを満足し予測するのに苦労しており、基本的なミスアライメントの源を浮き彫りにしている。 これらの観測に基づいて、我々は軽量な潜在予測対応応答生成フレームワークであるLENSを提案する。 LENSにより、モデルがユーザの期待を内部化し、より整合した応答を生成し、期待満足度を継続的に改善し、リアルなヒューマンAIアライメントのためにユーザの期待を明示的にモデル化することの重要性を強調できる。

関連論文リスト

• Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System [33.34100218601891]
  大規模言語モデル(LLM)は、臨床システムにますます統合され、これらのシステムの実際の実用性を評価することが不可欠である。 静的ベンチマークは、ユーザの受け入れよりも正確性を計測し、クエリ間でパフォーマンスを集約し、密度の高い注釈付きデータセットを必要とする傾向にある。 我々は,学術医療センターの電子健康記録に埋め込まれたLCMシステムの展開中心評価を行い,ユーザのフィードバックは少ないが,展開条件をよく反映している。
  論文  参考訳（メタデータ） (2026-06-10T21:44:20Z)
• LEAF: A Living Benchmark for Event-Augmented Forecasting [78.94019460534442]
  LEAFは、イベント拡張予測タスクの最初の生きたベンチマークである。 我々は最先端のプロプライエタリかつオープンウェイトなLLMを評価した。 LLMは、より予測し易いと自信を持って判断し、より優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-09T03:17:59Z)
• HumanLLM: Towards Personalized Understanding and Simulation of Human Nature [72.55730315685837]
  HumanLLMは個人のパーソナライズされた理解とシミュレーションのために設計された基礎モデルである。 私たちはまず、Reddit、Twitter、Blogger、Amazonといったプラットフォーム上で、現実世界のユーザデータをキュレートした大規模なコーパスであるCognitive Genomeを構築しました。 次に、多様な学習タスクを定式化し、教師付き微調整を行い、モデルの幅広い個人化された人間の行動、思考、経験を予測する。
  論文  参考訳（メタデータ） (2026-01-22T09:27:27Z)
• Open-Set Living Need Prediction with Large Language Models [49.9826719837983]
  Meituanのようなライフサービスプラットフォームでは、ユーザー購入は生活ニーズによって駆動され、パーソナライズされたサービスレコメンデーションにとって、正確な生活ニーズ予測が不可欠である。 従来のアプローチでは、この予測をクローズドセットの分類問題として扱い、生活ニーズの多様性と複雑さを捉える能力を著しく制限している。 本稿では,大規模言語モデル(LLM)を利用した制約のないニーズ予測システムであるPIGEONを提案する。 現実世界のデータセットに関する大規模な実験では、PIGEONは平均19.37%の要求に基づくライフサービスリコールにおいて、クローズドセットのアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-03T10:10:19Z)
• Large Language Model-Empowered Interactive Load Forecasting [3.0031348283981987]
  大きな言語モデル(LLM)は、人間のオペレータと予測モデルの間のギャップを埋める新たな機会を提供する。 特殊なエージェントのセットは、予測ワークフローで異なるタスクを実行し、専用の通信メカニズムを介して協調するように設計されている。 本実験は,ユーザが重要な段階について適切な洞察を与えると,対話型負荷予測精度が大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2025-05-22T12:11:10Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Can Language Models Use Forecasting Strategies? [14.332379032371612]
  実世界の出来事と関連する人間の予測の新たなデータセットを用いた実験について述べる。 モデルはまだ、未来に関する正確な予測に苦戦している。
  論文  参考訳（メタデータ） (2024-06-06T19:01:42Z)
• LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
  我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。 まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。 本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
  論文  参考訳（メタデータ） (2024-05-21T15:13:12Z)
• PURS: Personalized Unexpected Recommender System for Improving User Satisfaction [76.98616102965023]
  本稿では、予期せぬことを推奨プロセスに組み込んだ、新しいPersonalized Unexpected Recommender System(PURS)モデルについて述べる。 3つの実世界のデータセットに対する大規模なオフライン実験は、提案されたPURSモデルが最先端のベースラインアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2021-06-05T01:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。