論文の概要: Understand User Opinions of Large Language Models via LLM-Powered In-the-Moment User Experience Interviews

• arxiv url: http://arxiv.org/abs/2502.15226v1
• Date: Fri, 21 Feb 2025 05:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:46.084619
• Title: Understand User Opinions of Large Language Models via LLM-Powered In-the-Moment User Experience Interviews
• Title（参考訳）: LLMを利用したインザモーメント・ユーザ・エクスペリエンス・インタビューによる大規模言語モデルのユーザ・オピニオン理解
• Authors: Mengqiao Liu, Tevin Wang, Cassandra A. Cohen, Sarah Li, Chenyan Xiong,
• Abstract要約: 本稿では,LLMを利用したインタビュアーであるCLUEについて述べる。 メインストリームのLDMについて,ユーザからの意見を理解するために,何千人ものユーザを対象に調査を行った。 実験の結果,例えばDeepSeek-R1の表示された推論プロセスに関するバイポーラビューなど,CLUEは興味深いユーザ意見を捉えていることがわかった。
• 参考スコア（独自算出の注目度）: 21.600423558370533
• License:
• Abstract: Which large language model (LLM) is better? Every evaluation tells a story, but what do users really think about current LLMs? This paper presents CLUE, an LLM-powered interviewer that conducts in-the-moment user experience interviews, right after users interacted with LLMs, and automatically gathers insights about user opinions from massive interview logs. We conduct a study with thousands of users to understand user opinions on mainstream LLMs, recruiting users to first chat with a target LLM and then interviewed by CLUE. Our experiments demonstrate that CLUE captures interesting user opinions, for example, the bipolar views on the displayed reasoning process of DeepSeek-R1 and demands for information freshness and multi-modality. Our collected chat-and-interview logs will be released.
• Abstract（参考訳）: どの大きな言語モデル(LLM)の方が優れているか? 評価はすべてストーリーを伝えていますが、ユーザは現在のLLMについて本当にどう思いますか? 本稿では,LCMを利用したインモーメント・ユーザ・エクスペリエンス・インタビュアーであるCLUEについて,ユーザがLDMと対話した直後のインモーメント・ユーザ・エクスペリエンス・インタビューを行い,大量のインタビューログからユーザ・意見に関する洞察を自動的に収集する。 メインストリームLLMのユーザ意見を理解するために,何千人ものユーザを対象に調査を行い,まずターゲットLLMとチャットするためにユーザを募集し,その後CLUEにインタビューした。 例えば,DeepSeek-R1の表示された推論プロセスに対するバイポーラビューや,情報の鮮度とマルチモーダリティの要求などである。 収集したチャット・アンド・インタービューログがリリースされる。

関連論文リスト

• GuideLLM: Exploring LLM-Guided Conversation with Applications in Autobiography Interviewing [73.8469700907927]
  大規模言語モデル(LLM)は、指示の追従や質問応答といった人間の指導による会話に成功している。 本研究では, LLM誘導会話を, ゴールナビゲーション, (ii) コンテキストマネジメント, (iii) 共感エンゲージメントの3つの基本要素に分類した。 GPT-4o や Llama-3-70b-Instruct のような6つの最先端 LLM と比較し, 面接品質, 自伝生成品質の観点から検討した。
  論文  参考訳（メタデータ） (2025-02-10T14:11:32Z)
• LLM-as-an-Interviewer: Beyond Static Testing Through Dynamic LLM Evaluation [24.103034843158717]
  LLM-as-an-Interviewerは,大規模言語モデル(LLM)を評価するための新しいパラダイムである。 このアプローチはマルチターンインタラクションを活用し、インタビュアーは応答に対するフィードバックを積極的に提供し、評価されたLCMにフォローアップ質問を提示する。 このフレームワークを用いてMATHとDepthQAタスクの6つのモデルを評価する。
  論文  参考訳（メタデータ） (2024-12-10T15:00:32Z)
• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Two Tales of Persona in LLMs: A Survey of Role-Playing and Personalization [33.513689684998035]
  対話文学で最初に採用されたペルソナの概念は、大きな言語モデルを特定の文脈に合わせるための有望な枠組みとして復活してきた。 ギャップを埋めるために、フィールドの現状を分類するための総合的な調査を提示する。
  論文  参考訳（メタデータ） (2024-06-03T10:08:23Z)
• Large Language Models as Conversational Movie Recommenders: A User Study [3.3636849604467]
  大規模言語モデル(LLM)は、強い推薦性を提供するが、全体的なパーソナライゼーション、多様性、ユーザ信頼は欠如している。 LLMは、あまり知られていない映画やニッチ映画を推薦する能力を高めている。
  論文  参考訳（メタデータ） (2024-04-29T20:17:06Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Aligning Language Models to User Opinions [10.953326025836475]
  ユーザの意見や人口統計やイデオロギーが相互予測者ではないことが判明した。 ユーザの意見とユーザ人口、イデオロギーの両方をモデル化することで、LCMを整合させる。 人口統計学とイデオロギーを併用したLCMの典型的なアプローチに加えて,個人ユーザからの最も関連性の高い過去の意見を活用すれば,より正確なユーザ意見の予測が可能になることが判明した。
  論文  参考訳（メタデータ） (2023-05-24T09:11:11Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。