論文の概要: Too Good to Be Real? Diagnosing and Reducing the Gap Between AI Preference and Real User Engagement

• arxiv url: http://arxiv.org/abs/2609.18282v1
• Date: Wed, 16 Sep 2026 08:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.705486
• Title: Too Good to Be Real? Diagnosing and Reducing the Gap Between AI Preference and Real User Engagement
• Title（参考訳）: AIの優先度と実際のユーザーエンゲージメントのギャップを診断し減らす
• Abstract要約: Zhihu、Quora、Redditによる実際のプラットフォーム回答とAIによる回答を比較します。 AIの好みと実際のユーザエンゲージメントの間には、体系的なギャップがある。 OMRA(Ontology-Masked Reasoning Autoencoding)を提案する。
• 参考スコア（独自算出の注目度）: 14.55635371462885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used to generate and evaluate online content, yet it remains unclear whether the qualities they associate with higher engagement match what real users respond to. We study this question using 1.17 million answers to 25,978 questions from Zhihu, Quora, and Reddit, comparing real platform answers and AI-generated answers across four within-question engagement levels. We introduce Ontological Preference Measurement, which represents answers along three dimensions: logic, affect, and expression. We find a systematic gap between AI preference and real user engagement: as target engagement increases, LLMs add more explicit logical structure, while real user engagement is more strongly associated with affective and expressive salience. We call this tendency logic overbinding. Based on this diagnosis, we propose Ontology-Masked Reasoning Autoencoding (OMRA), a controlled intervention that masks and reconstructs over-explained spans while preserving stance, factual content, and coherence. Across four LLM families, OMRA reduces the measured gap by an average of 54.4%. In human evaluation, OMRA wins 62.4% of pairwise preference judgments against matched real platform answers, even though the real answers are more often judged to be human-written.
• Abstract（参考訳）: 大規模言語モデルは、オンラインコンテンツの生成と評価にますます利用されているが、彼らがより高いエンゲージメントに結びついている品質が、実際のユーザの反応と一致しているかどうかは不明だ。 我々は、Zhihu、Quora、Redditの25,978の質問に対して、117万の回答を使用してこの質問を調査し、実際のプラットフォーム回答とAIが生成する回答を、4つのインサーションエンゲージメントレベルで比較した。 本稿では,論理,影響,表現という3次元の回答を表すオントロジー的選好測定について紹介する。 ターゲットのエンゲージメントが増加するにつれて、LLMはより明確な論理構造を追加しますが、実際のユーザエンゲージメントは、感情的で表現力のあるサリエンスと強く結びついています。 私たちはこの傾向を論理的過剰結合と呼んでいる。 この診断に基づき,オントロジー・マスク付き推論自動符号化(OMRA)を提案する。 4つのLLMファミリーの中で、OMRAは測定されたギャップを平均54.4%減らす。 人間の評価において、OMRAは、実際のプラットフォーム回答と一致した回答に対して、ペアの選好判断の62.4%を勝ち取る。

関連論文リスト

• Not What, But How: A Framework for Auditing LLM Responses across Positioning, Generalization, Anthromorphism, and Maxims [54.31707479192195]
  大規模言語モデル(LLM)は、主観的、情報探索的な疑問に答えるためにますます使われている。 既存の主観的文化的クエリの評価は、応答のフレーム化を無視して、事実の正しさに重点を置いている。 FRANZ(FRAmework for respoNse characteriZation)を導入し、4次元のLLM応答のコミュニケーション監査を行う。
  論文  参考訳（メタデータ） (2026-06-01T17:01:31Z)
• HumanLM: Simulating Users with State Alignment Beats Response Imitation [84.89761487596844]
  本稿では,実際のユーザを正確に反映したユーザシミュレータを構築する新しいトレーニングフレームワークHumanLMを提案する。 HumanLMは、強化学習を通じて、地道的な応答に一致した自然言語の潜伏状態を生成する。 本研究では,公開データに基づく実ユーザシミュレーションのための総合的なベンチマークであるHumanualを開発する。
  論文  参考訳（メタデータ） (2026-02-07T20:26:28Z)
• LunaAI: A Polite and Fair Healthcare Guidance Chatbot [0.7696728525672148]
  多くの既存のシステムは、患者の信頼を構築するのに不可欠な感情的知性、公平性、丁寧さに乏しい。 本研究では,医療用プロトタイプであるLunaAIを設計,評価することで,倫理的コミュニケーションの原則を統合するという課題に対処する。
  論文  参考訳（メタデータ） (2026-01-12T13:44:00Z)
• Operationalizing Pluralistic Values in Large Language Model Alignment Reveals Trade-offs in Safety, Inclusivity, and Model Behavior [9.90941081429899]
  大規模言語モデル(LLM)は、人間の価値観の安全性と整合性のために人間のフィードバックを用いて、ますます訓練されている。 本研究では,複数値の組み込みがLLMの挙動にどう影響するかを,アライメントパイプラインにおける人口変動と設計パラメータを体系的に評価することによって検討する。
  論文  参考訳（メタデータ） (2025-11-18T13:14:42Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• AI Should Be More Human, Not More Complex [0.0]
  利用者は精巧な説明よりも簡潔でソース対応の回答を圧倒的に好んでいる。 のAI開発トレンドは、システムが知識に富むように聞こえるが、真に批判的な思考が欠如している不気味な谷効果を生み出している。 我々の発見は、より複雑なAI応答がより良いパフォーマンスを示すという一般的な仮定に挑戦し、代わりに、ユーザーエンゲージメントとシステムの信頼性にとって人間のような簡潔さと透明性が鍵であることを示唆している。
  論文  参考訳（メタデータ） (2025-07-27T15:55:52Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。