論文の概要: Rewriting Conversational Utterances with Instructed Large Language Models

• arxiv url: http://arxiv.org/abs/2410.07797v1
• Date: Thu, 10 Oct 2024 10:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 14:56:00.892281
• Title: Rewriting Conversational Utterances with Instructed Large Language Models
• Title（参考訳）: 命令付き大言語モデルによる会話発話の書き直し
• Authors: Elnara Galimzhanova, Cristina Ioana Muntean, Franco Maria Nardini, Raffaele Perego, Guido Rocchietti,
• Abstract要約: 大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成することができる。 本稿では,最高の検索性能をもたらす最も情報に富んだ発話を提示する手法について検討する。 その結果、LLMによる会話音声の書き直しは、MRRで25.2%、Precision@1で31.7%、NDCG@3で27%、Recall@500で11.5%の大幅な改善が達成された。
• 参考スコア（独自算出の注目度）: 9.38751103209178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent studies have shown the ability of large language models (LLMs) to achieve state-of-the-art performance on many NLP tasks, such as question answering, text summarization, coding, and translation. In some cases, the results provided by LLMs are on par with those of human experts. These models' most disruptive innovation is their ability to perform tasks via zero-shot or few-shot prompting. This capability has been successfully exploited to train instructed LLMs, where reinforcement learning with human feedback is used to guide the model to follow the user's requests directly. In this paper, we investigate the ability of instructed LLMs to improve conversational search effectiveness by rewriting user questions in a conversational setting. We study which prompts provide the most informative rewritten utterances that lead to the best retrieval performance. Reproducible experiments are conducted on publicly-available TREC CAST datasets. The results show that rewriting conversational utterances with instructed LLMs achieves significant improvements of up to 25.2% in MRR, 31.7% in Precision@1, 27% in NDCG@3, and 11.5% in Recall@500 over state-of-the-art techniques.
• Abstract（参考訳）: 近年の多くの研究は、質問応答、テキスト要約、コーディング、翻訳など、多くのNLPタスクにおける最先端のパフォーマンスを実現するための大規模言語モデル(LLM)の能力を示している。 一部のケースでは、LLMによる結果は、人間の専門家と同等である。 これらのモデルの最も破壊的な革新は、ゼロショットまたは少数ショットプロンプトによってタスクを実行する能力である。 この能力は、人間のフィードバックによる強化学習を使用して、モデルのユーザからの要求に直接従うように指導するLLMの訓練に有効に活用されている。 本稿では,会話環境におけるユーザ質問の書き直しによる会話検索効率向上のためのLLMの指導能力について検討する。 本稿では,最高の検索性能を実現するために,最も情報に富んだ発話を提示する手法について検討する。 TREC CASTデータセットで再現可能な実験を行う。 その結果、LLMによる会話音声の書き直しは、MRRで25.2%、Precision@1で31.7%、NDCG@3で27%、Recall@500で11.5%の大幅な改善が達成された。

関連論文リスト

• A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks [0.0]
  大規模言語モデル(LLM)は多くの異なる自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを示している。 プロンプトエンジニアリングは、大きなパフォーマンス向上を達成するために、既に存在するLLMの能力に追加する上で重要な役割を担います。 本稿では、異なるプロンプト手法を要約し、それらが用いた異なるNLPタスクに基づいてそれらをまとめる。
  論文  参考訳（メタデータ） (2024-07-17T20:23:19Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• KIWI: A Dataset of Knowledge-Intensive Writing Instructions for Answering Research Questions [63.307317584926146]
  ユーザ命令に従うように適応された大規模言語モデル(LLM)は、現在では会話エージェントとして広くデプロイされている。 そこで本研究では,より一般的な命令追従タスクとして,長文の回答作成を支援することを提案する。 我々は、科学領域における知識集約的な記述命令のデータセットKIWIを構築した。
  論文  参考訳（メタデータ） (2024-03-06T17:16:44Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Contextual Biasing of Named-Entities with Large Language Models [12.396054621526643]
  本稿では,Large Language Models (LLM) を用いた文脈バイアスについて検討する。 LLMに追加のコンテキスト情報を提供して、自動音声認識(ASR)性能を向上する。 本稿では, バイアスリストと少数ショット例を組み込んだ再描画時に, 微調整を行なわずに, LLMのプロンプトを活用することを提案する。
  論文  参考訳（メタデータ） (2023-09-01T20:15:48Z)
• Language Model Self-improvement by Reinforcement Learning Contemplation [13.152789365858812]
  本稿では,LanguageModel Self-Improvement by Reinforcement Learning Contemplation (SIRLC) という,教師なしの新しい手法を提案する。 学生として、モデルはラベルのない質問に対する回答を生成し、教師として、生成されたテキストを評価し、それに応じてスコアを割り当てる。 我々は,SIRLCを推論問題,テキスト生成,機械翻訳など,様々なNLPタスクに適用できることを実証した。
  論文  参考訳（メタデータ） (2023-05-23T19:25:52Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。