論文の概要: Parrot: Enhancing Multi-Turn Chat Models by Learning to Ask Questions

• arxiv url: http://arxiv.org/abs/2310.07301v1
• Date: Wed, 11 Oct 2023 08:36:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 23:33:21.063426
• Title: Parrot: Enhancing Multi-Turn Chat Models by Learning to Ask Questions
• Title（参考訳）: parrot: 質問の学習によるマルチターンチャットモデルの拡張
• Authors: Yuchong Sun, Che Liu, Jinwen Huang, Ruihua Song, Fuzheng Zhang, Di Zhang, Zhongyuan Wang, Kun Gai
• Abstract要約: オープンソースのチャットモデルと主要なチャットモデルの間のマルチターン会話には、顕著なラグがある。 高品質なインストラクションチューニングデータを自動的に生成するように設計された,スケーラブルなソリューションであるParrotを紹介する。 Parrot-Chatは他の13Bオープンソースモデルに対して、命令追従ベンチマークの範囲で強力なパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 34.560172199398075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Impressive progress has been made on chat models based on Large Language Models (LLMs) recently; however, there is a noticeable lag in multi-turn conversations between open-source chat models (e.g., Alpaca and Vicuna) and the leading chat models (e.g., ChatGPT and GPT-4). Through a series of analyses, we attribute the lag to the lack of enough high-quality multi-turn instruction-tuning data. The available instruction-tuning data for the community are either single-turn conversations or multi-turn ones with certain issues, such as non-human-like instructions, less detailed responses, or rare topic shifts. In this paper, we address these challenges by introducing Parrot, a highly scalable solution designed to automatically generate high-quality instruction-tuning data, which are then used to enhance the effectiveness of chat models in multi-turn conversations. Specifically, we start by training the Parrot-Ask model, which is designed to emulate real users in generating instructions. We then utilize Parrot-Ask to engage in multi-turn conversations with ChatGPT across a diverse range of topics, resulting in a collection of 40K high-quality multi-turn dialogues (Parrot-40K). These data are subsequently employed to train a chat model that we have named Parrot-Chat. We demonstrate that the dialogues gathered from Parrot-Ask markedly outperform existing multi-turn instruction-following datasets in critical metrics, including topic diversity, number of turns, and resemblance to human conversation. With only 40K training examples, Parrot-Chat achieves strong performance against other 13B open-source models across a range of instruction-following benchmarks, and particularly excels in evaluations of multi-turn capabilities. We make all codes, datasets, and two versions of the Parrot-Ask model based on LLaMA2-13B and KuaiYii-13B available at https://github.com/kwai/KwaiYii/Parrot.
• Abstract（参考訳）: 近年、Large Language Models (LLMs) に基づくチャットモデルにおいて、印象的な進歩がなされているが、オープンソースのチャットモデル(AlpacaやVicunaなど)と主要なチャットモデル(ChatGPTやGPT-4など)とのマルチターン会話の遅れが顕著である。 一連の分析を通じて、遅延は十分な高品質のマルチターン命令チューニングデータの欠如に帰着する。 コミュニティで利用可能なインストラクションチューニングデータは、シングルターン会話か、非人間的なインストラクション、より詳細なレスポンス、まれなトピックシフトなど、特定の問題のあるマルチターン会話である。 本稿では,マルチターン会話におけるチャットモデルの有効性を高めるために,高品質な命令チューニングデータの自動生成を目的とした,スケーラブルなソリューションであるParrotを導入することで,これらの課題に対処する。 具体的には、実際のユーザをエミュレートして命令を生成するParrot-Askモデルをトレーニングすることから始める。 次にParrot-Askを用いてChatGPTとの多ターン会話を多種多様なトピックにわたって行い、結果として40Kの高品質な多ターン対話(Parrot-40K)を収集する。 これらのデータは、Parrot-Chatという名前のチャットモデルをトレーニングするために使用される。 本研究では,Parrot-Askから集めた対話が,トピックの多様性,ターン数,人間会話との類似性など,既存のマルチターン命令フォローデータセットを著しく上回ることを示す。 たった40Kのトレーニング例で、Parrot-Chatは他の13Bオープンソースモデルに対して、命令追従ベンチマークの範囲で強力なパフォーマンスを実現している。 LLaMA2-13BとKuaiYii-13Bに基づくParrot-Askモデルのコード、データセット、2つのバージョンをhttps://github.com/kwai/KwaiYii/Parrotで公開しています。

関連論文リスト

• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• Breaking Language Barriers with a LEAP: Learning Strategies for Polyglot LLMs [5.682384717239095]
  大規模言語モデル(LLM)は、世界中の多くのドメインを変換する最前線にある。 本稿では,LLMの多言語性能向上のための命令的課題に取り組む。 ポリグロットランドスケープにおけるLLMの真のポテンシャルを解き放つ新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T14:48:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。