論文の概要: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

• arxiv url: http://arxiv.org/abs/2304.01196v3
• Date: Tue, 23 May 2023 19:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 01:33:48.774133
• Title: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
• Title（参考訳）: Baize: セルフチャットデータに基づくパラメータ効率チューニングを備えたオープンソースのチャットモデル
• Authors: Canwen Xu and Daya Guo and Nan Duan and Julian McAuley
• Abstract要約: ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
• 参考スコア（独自算出の注目度）: 55.097573036580066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chat models, such as ChatGPT, have shown impressive capabilities and have been rapidly adopted across numerous domains. However, these models are only accessible through a restricted API, creating barriers for new research and progress in the field. We propose a pipeline that can automatically generate a high-quality multi-turn chat corpus by leveraging ChatGPT to engage in a conversation with itself. Subsequently, we employ parameter-efficient tuning to enhance LLaMA, an open-source large language model. The resulting model, named Baize, demonstrates good performance in multi-turn dialogues with guardrails that minimize potential risks. Furthermore, we propose a new technique called Self-Distill with Feedback, to further improve the performance of the Baize models with feedback from ChatGPT. The Baize models and data are released for research purposes only at https://github.com/project-baize/baize-chatbot. An online demo is also available at https://huggingface.co/spaces/project-baize/chat-with-baize.
• Abstract（参考訳）: ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 しかし、これらのモデルは制限付きAPIを通じてのみアクセス可能であり、この分野における新たな研究と進歩の障壁となる。 そこで本研究では,chatgptを利用して対話を行うことで,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 その後,オープンソースの大規模言語モデルであるLLaMAを強化するためにパラメータ効率のチューニングを用いる。 得られたモデルBaizeは、潜在的なリスクを最小限に抑えるガードレールとのマルチターン対話において、優れたパフォーマンスを示す。 さらに,chatgptからのフィードバックによりベイズモデルの性能をさらに向上させるため,自己蒸留型フィードバック技術を提案する。 baizeのモデルとデータは研究目的でhttps://github.com/project-baize/baize-chatbotでのみリリースされる。 オンラインデモもhttps://huggingface.co/spaces/project-baize/chat-with-baizeで公開されている。

関連論文リスト

• Large Language Models as Zero-shot Dialogue State Tracker through Function Calling [42.00097476584174]
  本稿では,大言語モデル(LLM)を用いた対話状態追跡の関数呼び出しによる解法を提案する。 この方法はゼロショットDSTを改善し、広範囲のデータ収集やモデルチューニングなしに多様なドメインに適応できる。 提案手法は,オープン・ソースとプロプライエタリ・LLMの両面において,極めて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-02-16T06:13:18Z)
• Pheme: Efficient and Conversational Speech Generation [52.34331755341856]
  我々は,コンパクトだが高性能な会話型TSモデルを提供するPhemeモデルシリーズを紹介する。 小規模の会話データで効率的にトレーニングでき、データ要求を10倍に削減できるが、自動回帰的TSモデルの品質にマッチする。
  論文  参考訳（メタデータ） (2024-01-05T14:47:20Z)
• Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM [9.340519360486924]
  より小さなモデルの組み合わせは、特異な大きなモデルと比較して、同等または拡張されたパフォーマンスを協調的に達成できるだろうか? 我々は,複数のチャットAIを統合する上で,単純かつ効果的な手法である「ブレンディング」というアプローチを導入する。 例えば、中程度のサイズの3つのモデル(6B/13Bパラメータ)を統合することで、ChatGPT (175B+パラメータ)のようなかなり大きなモデルのパフォーマンス指標に匹敵したり、超えたりすることができる。
  論文  参考訳（メタデータ） (2024-01-04T07:45:49Z)
• Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages [40.37822682459469]
  我々は、事前訓練された言語モデルに指示追従と人間の値アライメントを持たせるために、$textitchat vector$という概念を導入する。 連続的な事前訓練されたモデルの重み付けにチャットベクトルを追加するだけで、言語を必要とせずに、チャット機能をモデルに組み込むことができる。
  論文  参考訳（メタデータ） (2023-10-07T13:34:21Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)
• Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models [59.525108086957296]
  Video-ChatGPTは、ビデオ適応型ビジュアルエンコーダとLLMをマージするマルチモーダルモデルである。 ビデオに関する詳細な会話を理解し、生成することができる。 我々は,ビデオチャットGPTのトレーニングに使用される10,000対のビデオ命令ペアの新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-08T17:59:56Z)
• The False Promise of Imitating Proprietary LLMs [158.65692029352584]
  より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。 このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。 まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。 次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-25T05:00:12Z)
• Enhancing Chat Language Models by Scaling High-quality Instructional Conversations [91.98516412612739]
  まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。 我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。 我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
  論文  参考訳（メタデータ） (2023-05-23T16:49:14Z)
• Low-Resource Adaptation of Open-Domain Generative Chatbots [0.0]
  低パラメータモデルは、特定の領域を改善しながら、会話能力の一般的な知識を維持することができることを示す。 本稿では,質問型の多様さを考慮し,マルチターン会話を通して参照を追跡し,不整合性や潜在的有害な応答を除去する汎用フレームワークを提案する。 われわれのフレームワークはチャットとトランザクションタスクをシームレスに移行し、最終的にはデジタルアシスタントとの対話をより人間らしくする。
  論文  参考訳（メタデータ） (2021-08-13T17:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。