論文の概要: Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

• arxiv url: http://arxiv.org/abs/2305.14233v1
• Date: Tue, 23 May 2023 16:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 14:33:27.056661
• Title: Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
• Title（参考訳）: 高品質なインストラクショナル会話のスケーリングによるチャット言語モデルの強化
• Authors: Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, Bowen Zhou
• Abstract要約: まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。 我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。 我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
• 参考スコア（独自算出の注目度）: 91.98516412612739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\footnote{\url{https://github.com/thunlp/UltraChat}}.
• Abstract（参考訳）: chatgptのようなチャット言語モデルを実装するための効果的なプラクティスとして、命令データの微調整が広く検証されている。 このようなデータの多様性と品質のスケールアップは、単純ではあるが、パフォーマンス向上につながる大きなチャンスである。 本稿では,オープンソースモデルの上限をさらに高めることを目的とする。 まず,人間の問合せを含まないインストラクション会話,ウルトラチャットの体系的設計,多様化,情報化,大規模データセットを提供する。 我々の目標は、人間がAIアシスタントと持つであろう対話の幅を捉えることであり、マルチターン会話を反復的に生成するための包括的なフレームワークを利用することである。 UltraChatには150万の高品質なマルチターン対話が含まれており、幅広いトピックや指示をカバーしている。 我々の統計分析によると、UltraChatはスケール、平均長、多様性、コヒーレンスなど、さまざまな重要な指標において優位性を示し、オープンソースデータセットとしての地位を固めています。 UltraChatに基づいてLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成します。 今回の評価から,ultrallamaは,これまで認識されていた最先端のオープンソースモデルであるvicunaなど,他のオープンソースモデルよりも一貫して優れています。 データセットとモデルが公開される。\footnote{\url{https://github.com/thunlp/UltraChat}}。

関連論文リスト

• CoDi: Conversational Distillation for Grounded Question Answering [10.265241619616676]
  我々はCoDiという新しいデータ蒸留フレームワークを導入する。 CoDiを使えば、大規模でアシスタントスタイルのデータセットを、さまざまな方法で合成することができます。 我々は,CoDi合成データを用いてトレーニングしたSLMが,標準的な測定値において,人間の注釈付きデータに基づいてトレーニングしたモデルに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-20T22:35:47Z)
• MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models [70.92847554971065]
  MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。 人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。 11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T04:50:28Z)
• TeleChat Technical Report [40.93268271825107]
  我々は、30億、70億、120億のパラメータを持つ大規模言語モデル(LLM)のコレクションであるTeleChatを提示する。 事前訓練された言語モデルと、人間の好みに合わせて微調整されたチャットモデルが含まれている。 言語理解,数学,推論,コード生成,知識に基づく質問応答など,様々なタスクにおけるTeleChatの性能を評価する。
  論文  参考訳（メタデータ） (2024-01-08T10:43:19Z)
• Faithful Persona-based Conversational Dataset Generation with Large Language Models [10.506653172302222]
  高品質な会話データセットは、ユーザと通信可能なAIモデルを開発する上で不可欠である。 我々は,会話の質を向上しつつ,初期データセットを拡張するためのGenerator-Criticアーキテクチャフレームワークを提案する。 我々はPersona-Chatからシードされた20万の会話からなるSynthetic-Persona-Chatをリリースする。
  論文  参考訳（メタデータ） (2023-12-15T18:23:50Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models [69.96148259273065]
  ワンフアン(Wan Juan)は、中国語と英語のデータからなる大規模なマルチモーダルデータセットであり、幅広いWebソースから収集されている。 同様のスケールのモデルと比較して,多次元評価において有意な優位性を示すモデルであるInternLMのトレーニングに利用された。
  論文  参考訳（メタデータ） (2023-08-21T14:40:48Z)
• Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models [59.525108086957296]
  Video-ChatGPTは、ビデオ適応型ビジュアルエンコーダとLLMをマージするマルチモーダルモデルである。 ビデオに関する詳細な会話を理解し、生成することができる。 我々は,ビデオチャットGPTのトレーニングに使用される10,000対のビデオ命令ペアの新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)
• Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data [101.63682141248069]
  ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
  論文  参考訳（メタデータ） (2023-04-03T17:59:09Z)
• TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models [5.668457303716451]
  マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。 我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
  論文  参考訳（メタデータ） (2023-03-27T17:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。