論文の概要: Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations
- arxiv url: http://arxiv.org/abs/2305.14233v1
- Date: Tue, 23 May 2023 16:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 14:33:27.056661
- Title: Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations
- Title(参考訳): 高品質なインストラクショナル会話のスケーリングによるチャット言語モデルの強化
- Authors: Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu,
Zhiyuan Liu, Maosong Sun, Bowen Zhou
- Abstract要約: まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。
我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。
我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
- 参考スコア(独自算出の注目度): 91.98516412612739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning on instruction data has been widely validated as an effective
practice for implementing chat language models like ChatGPT. Scaling the
diversity and quality of such data, although straightforward, stands a great
chance of leading to improved performance. This paper aims to improve the upper
bound of open-source models further. We first provide a systematically
designed, diverse, informative, large-scale dataset of instructional
conversations, UltraChat, which does not involve human queries. Our objective
is to capture the breadth of interactions that a human might have with an AI
assistant and employs a comprehensive framework to generate multi-turn
conversation iteratively. UltraChat contains 1.5 million high-quality
multi-turn dialogues and covers a wide range of topics and instructions. Our
statistical analysis of UltraChat reveals its superiority in various key
metrics, including scale, average length, diversity, coherence, etc.,
solidifying its position as a leading open-source dataset. Building upon
UltraChat, we fine-tune a LLaMA model to create a powerful conversational
model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently
outperforms other open-source models, including Vicuna, the previously
recognized state-of-the-art open-source model. The dataset and the model will
be publicly released\footnote{\url{https://github.com/thunlp/UltraChat}}.
- Abstract(参考訳): chatgptのようなチャット言語モデルを実装するための効果的なプラクティスとして、命令データの微調整が広く検証されている。
このようなデータの多様性と品質のスケールアップは、単純ではあるが、パフォーマンス向上につながる大きなチャンスである。
本稿では,オープンソースモデルの上限をさらに高めることを目的とする。
まず,人間の問合せを含まないインストラクション会話,ウルトラチャットの体系的設計,多様化,情報化,大規模データセットを提供する。
我々の目標は、人間がAIアシスタントと持つであろう対話の幅を捉えることであり、マルチターン会話を反復的に生成するための包括的なフレームワークを利用することである。
UltraChatには150万の高品質なマルチターン対話が含まれており、幅広いトピックや指示をカバーしている。
我々の統計分析によると、UltraChatはスケール、平均長、多様性、コヒーレンスなど、さまざまな重要な指標において優位性を示し、オープンソースデータセットとしての地位を固めています。
UltraChatに基づいてLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成します。
今回の評価から,ultrallamaは,これまで認識されていた最先端のオープンソースモデルであるvicunaなど,他のオープンソースモデルよりも一貫して優れています。
データセットとモデルが公開される。\footnote{\url{https://github.com/thunlp/UltraChat}}。
関連論文リスト
- MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large
Language Models [70.92847554971065]
MT-Evalは,マルチターン対話能力を評価するための総合的なベンチマークである。
人間のLLM会話を解析することにより,インタラクションパターンを,再現,拡張,洗練,フォローアップの4つのタイプに分類する。
11個の有名なLCMを評価したところ、クローズドソースモデルは一般的にオープンソースモデルを上回るが、特定のタスクにおいて特定のオープンソースモデルの方がGPT-3.5-Turboを上回っていることがわかった。
論文 参考訳(メタデータ) (2024-01-30T04:50:28Z) - PersonalityChat: Conversation Distillation for Personalized Dialog
Modeling with Facts and Traits [5.447308344436046]
PersonalityChatは、人気のPersonaChatデータセットに基づいた合成会話データセットである。
生成対話モデルの特質に基づくパーソナライズには,性格特性ラベルが有効であることを示す。
論文 参考訳(メタデータ) (2024-01-14T20:35:33Z) - TeleChat Technical Report [40.78501419932895]
我々は、30億、70億、120億のパラメータを持つ大規模言語モデル(LLM)のコレクションであるTeleChatを提示する。
事前訓練された言語モデルと、人間の好みに合わせて微調整されたチャットモデルが含まれている。
言語理解,数学,推論,コード生成,知識に基づく質問応答など,様々なタスクにおけるTeleChatの性能を評価する。
論文 参考訳(メタデータ) (2024-01-08T10:43:19Z) - Faithful Persona-based Conversational Dataset Generation with Large
Language Models [10.506653172302222]
高品質な会話データセットは、ユーザと通信可能なAIモデルを開発する上で不可欠である。
我々は,会話の質を向上しつつ,初期データセットを拡張するためのGenerator-Criticアーキテクチャフレームワークを提案する。
我々はPersona-Chatからシードされた20万の会話からなるSynthetic-Persona-Chatをリリースする。
論文 参考訳(メタデータ) (2023-12-15T18:23:50Z) - EXMODD: An EXplanatory Multimodal Open-Domain Dialogue dataset [20.445453185198186]
本稿では,データ収集における人的・資源的負担を軽減するため,MDCF(Multimodal Data Construction Framework)を提案する。
MDCFは、与えられた画像とその対応する対話を自動で説明し、ある程度の解釈可能性を提供する。
実験は、モデルの正確な理解と高品質な応答を生成する能力の間に正の相関関係を示す。
論文 参考訳(メタデータ) (2023-10-17T03:28:29Z) - SoTaNa: The Open-Source Software Development Assistant [81.86136560157266]
SoTaNaはオープンソースのソフトウェア開発アシスタントだ。
ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。
オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
論文 参考訳(メタデータ) (2023-08-25T14:56:21Z) - WanJuan: A Comprehensive Multimodal Dataset for Advancing English and
Chinese Large Models [69.96148259273065]
ワンフアン(Wan Juan)は、中国語と英語のデータからなる大規模なマルチモーダルデータセットであり、幅広いWebソースから収集されている。
同様のスケールのモデルと比較して,多次元評価において有意な優位性を示すモデルであるInternLMのトレーニングに利用された。
論文 参考訳(メタデータ) (2023-08-21T14:40:48Z) - Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and
Language Models [60.04060735194162]
本研究は,ビデオチャットGPTを導入することで,ビデオベースの会話の未探索領域に対処する。
ビデオ適応型ビジュアルエンコーダと大言語モデル(LLM)を融合したマルチモーダルモデルである。
このモデルは、ビデオに関する人間のような会話を理解し、生成することができる。
論文 参考訳(メタデータ) (2023-06-08T17:59:56Z) - Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on
Self-Chat Data [101.63682141248069]
ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。
本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。
我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
論文 参考訳(メタデータ) (2023-04-03T17:59:09Z) - TextMI: Textualize Multimodal Information for Integrating Non-verbal
Cues in Pre-trained Language Models [5.668457303716451]
マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。
我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
論文 参考訳(メタデータ) (2023-03-27T17:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。