論文の概要: Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users

• arxiv url: http://arxiv.org/abs/2606.20482v1
• Date: Thu, 18 Jun 2026 17:00:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.005427
• Title: Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users
• Title（参考訳）: マウスと目は、ユーザーの好みをひそかに漏れている
• Authors: Haw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani,
• Abstract要約: 既存の手法の多くは、明確な人間のフィードバックを収集し、応答テキストに基づいて人間の好みを予測するために報酬モデルを訓練する。 IFLLMと呼ばれる新しいデータセットを構築し、59人のメカニカル・トルコ人労働者から1336のマルチターン質問を収集します。 暗黙のフィードバックに基づく報酬モデルは、テキストベースの報酬モデルの精度を55%から64%に向上させ、相対的な応答品質の改善をほぼ3倍にします。
• 参考スコア（独自算出の注目度）: 25.631351524871636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To align a Large Language Model (LLM), most existing methods collect explicit human feedback and train a reward model to predict the human preference based on the response text. These existing methods have two key limitations. First, the users rarely provide explicit feedback for LLM responses, which makes the high-quality preference annotation expensive to collect. Second, the methods do not leverage implicit human feedback, which has proven vital to the economic moats of Internet giants. To quantify the value of implicit feedback, we build a new dataset called IFLLM, which collects 1336 multi-turn questions from the 59 Mechanical Turk workers, their mouse trajectories, and eye gazing points to the LLMs' responses from their webcams. IFLLM shows that the users have very diverse types of gazing behavior and mouse trajectories. Our reward model based on the implicit user feedback boosts the accuracy of the text-based reward model from 55% to 64% and nearly triples the relative response quality improvements after applying the DPO to eight LLMs, demonstrating the value of implicit feedback in the wild. Our data collection website, dataset, and codes can be found at https://github.com/themehulpatwari/llm-implicit-feedback/.
• Abstract（参考訳）: LLM(Large Language Model)を整列させるために、既存のほとんどの手法は明示的な人間のフィードバックを収集し、応答テキストに基づいて人間の好みを予測するために報酬モデルを訓練する。 これらの既存手法には2つの重要な制限がある。 まず、LLM応答に対して明示的なフィードバックを与えることはめったにないため、高品質な選好アノテーションの収集が高価になる。 第二に、この手法は暗黙の人間のフィードバックを生かしていない。 暗黙のフィードバックの価値を定量化するために、59人の機械トルコ人労働者から1336人のマルチターン質問、マウスの軌跡、ウェブカメラからLLMの反応の視線点を収集するIFLLMというデータセットを構築した。 IFLLMは、利用者の視線行動とマウスの軌跡に非常に多様な種類があることを示している。 暗黙のフィードバックに基づく報酬モデルにより、テキストベースの報酬モデルの精度は55%から64%に向上し、DPOを8つのLLMに適用した後、相対的な応答品質の改善をほぼ3倍にし、暗黙のフィードバックの価値を実証する。 データ収集のWebサイト、データセット、コードはhttps://github.com/themehulpatwari/llm-implicit-feedback/にある。

関連論文リスト

• Interactive Episodic Memory with User Feedback [14.503449526387776]
  質問・フィードバックタスク(EM-QnF)によるエピソード記憶の導入 ここでは、モデルの初期予測に関するフィードバックを提供したり、より多くの情報を追加したりすることができる。 本稿では,コストのかかる逐次最適化を回避する軽量なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T18:19:58Z)
• Multimodal LLMs as Customized Reward Models for Text-to-Image Generation [60.164968941945645]
  LLaVA-Rewardは、複数の視点でテキスト・ツー・イメージ(T2I)生成を自動評価する効率的な報酬モデルである。 LLaVA-Rewardはマルチモーダル大言語モデル(MLLM)の隠れ状態を直接利用する LLaVA-Rewardは、テキストイメージアライメント、忠実さ/アーティファクト、安全性、全体的なランク付けの4つの観点でトレーニングします。
  論文  参考訳（メタデータ） (2025-07-28T23:52:53Z)
• WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback [36.06000681394939]
  WildFeedbackは、大規模言語モデル(LLM)との会話中にユーザからのフィードバックをその場で活用して、好みのデータセットを自動的に作成する新しいフレームワークである。 実験の結果,WildFeedbackデータセットを微調整したLCMは,ユーザの好みに合わせて大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-08-28T05:53:46Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Peering Through Preferences: Unraveling Feedback Acquisition for Aligning Large Language Models [32.843361525236965]
  スパースフィードバックが大規模言語モデルのアライメントと評価に与える影響を解析する。 評価やランク付けの好みは、人間とAIのアノテータの双方で60%と大きく異なっています。 本研究は,言語モデルの現実的有用性を評価する手法において,重要なギャップを浮き彫りにした。
  論文  参考訳（メタデータ） (2023-08-30T07:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。