論文の概要: Conversational User-AI Intervention: A Study on Prompt Rewriting for Improved LLM Response Generation

• arxiv url: http://arxiv.org/abs/2503.16789v1
• Date: Fri, 21 Mar 2025 02:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:21.973508
• Title: Conversational User-AI Intervention: A Study on Prompt Rewriting for Improved LLM Response Generation
• Title（参考訳）: 会話型ユーザAIインターベンション:LLM応答生成の改善のためのプロンプト書き換えに関する研究
• Authors: Rupak Sarkar, Bahareh Sarrafzadeh, Nirupama Chandrasekaran, Nagu Rangan, Philip Resnik, Longqi Yang, Sujay Kumar Jauhar,
• Abstract要約: 本稿では,ユーザクエリが情報要求の表現に欠ける側面と,LLMを用いてサブ最適ユーザプロンプトを書き換える可能性について検討する。 本研究は, ユーザの本来の意図を保ちながら, 会話システムからより優れた応答を導き出すことができることを示す。
• 参考スコア（独自算出の注目度）: 16.8514748768591
• License:
• Abstract: Human-LLM conversations are increasingly becoming more pervasive in peoples' professional and personal lives, yet many users still struggle to elicit helpful responses from LLM Chatbots. One of the reasons for this issue is users' lack of understanding in crafting effective prompts that accurately convey their information needs. Meanwhile, the existence of real-world conversational datasets on the one hand, and the text understanding faculties of LLMs on the other, present a unique opportunity to study this problem, and its potential solutions at scale. Thus, in this paper we present the first LLM-centric study of real human-AI chatbot conversations, focused on investigating aspects in which user queries fall short of expressing information needs, and the potential of using LLMs to rewrite suboptimal user prompts. Our findings demonstrate that rephrasing ineffective prompts can elicit better responses from a conversational system, while preserving the user's original intent. Notably, the performance of rewrites improves in longer conversations, where contextual inferences about user needs can be made more accurately. Additionally, we observe that LLMs often need to -- and inherently do -- make \emph{plausible} assumptions about a user's intentions and goals when interpreting prompts. Our findings largely hold true across conversational domains, user intents, and LLMs of varying sizes and families, indicating the promise of using prompt rewriting as a solution for better human-AI interactions.
• Abstract（参考訳）: 人間とLLMの会話は、人々の職業的、個人的生活においてますます広まりつつあるが、多くのユーザーは、LLM Chatbotsから有用な応答を引き出すのに苦戦している。 この問題の理由の1つは、ユーザが情報ニーズを正確に伝達する効果的なプロンプトを作成することに対する理解の欠如である。 一方、実世界の会話データセットの存在とLLMのテキスト理解能力は、この問題とその潜在的な解決策を大規模に研究するユニークな機会を提供する。 そこで,本稿では,ユーザクエリが情報要求の表現に欠ける側面と,LLMを最適ユーザプロンプトの書き直しに活用する可能性を検討することを目的とした,人間とAIのチャットボットの会話に関する最初のLLM中心の研究について述べる。 本研究は, ユーザの本来の意図を保ちながら, 会話システムからより優れた応答を導き出すことができることを示す。 特に、ユーザニーズに関するコンテキスト推論をより正確に行うことができ、長い会話で書き直しのパフォーマンスが向上する。 さらに、LLMは、プロンプトを解釈する際に、ユーザの意図や目標について-そして本質的に---emph{plausible} の仮定を行う必要があることがよくあります。 我々の発見は、会話ドメイン、ユーザ意図、および様々なサイズと家族のLCMに共通しており、人間とAIのインタラクションを改善するためのソリューションとして、即時書き直しを使用することの可能性を示唆している。

関連論文リスト

• Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
  多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。 この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。 実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T21:37:51Z)
• Exploring Knowledge Tracing in Tutor-Student Dialogues using LLMs [49.18567856499736]
  本研究では,大規模言語モデル(LLM)が対話学習を支援することができるかどうかを検討する。 我々は,学習者の知識レベルを対話全体にわたって追跡するために,ラベル付きデータに知識追跡(KT)手法を適用した。 我々は,2つの学習対話データセットの実験を行い,従来のKT手法よりも学生の反応の正しさを予測できる新しいLCM-based method LLMKTが優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T22:31:39Z)
• Selective Prompting Tuning for Personalized Conversations with LLMs [31.28284591597932]
  textbfSelective textbfPrompt textbfTuning (SPT)を提案する。 SPTは、他の重要なパフォーマンス指標の改善とともに、応答の多様性を最大90%向上させる。
  論文  参考訳（メタデータ） (2024-06-26T09:03:52Z)
• LLM Whisperer: An Inconspicuous Attack to Bias LLM Responses [28.49203239329941]
  命令における微妙なシノニム置換は、LLMが目標概念に言及する可能性(最大78%)を高めることができることを示す。 我々は,1)人間による未修正のプロンプトと区別不能なプロンプト,2)LLMを押して目標概念をより頻繁に推奨すること,3)ユーザが目標概念に気づく可能性が高くなることを示す。
  論文  参考訳（メタデータ） (2024-06-07T08:54:55Z)
• On Overcoming Miscalibrated Conversational Priors in LLM-based Chatbots [19.423566424346166]
  本研究では,Large Language Model (LLM) ベースのチャットボットを用いて推薦システムを構築する。 チャットボットが不特定要求に遭うと、応答が悪くなるのを観察する。 我々は,このような誤った応答傾向は,アノテータを用いたLPM微調整に起因していると推測する。
  論文  参考訳（メタデータ） (2024-06-01T15:54:45Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。