論文の概要: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on
Self-Chat Data
- arxiv url: http://arxiv.org/abs/2304.01196v1
- Date: Mon, 3 Apr 2023 17:59:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 14:06:49.989144
- Title: Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on
Self-Chat Data
- Title(参考訳): Baize: セルフチャットデータに基づくパラメータ効率チューニングを備えたオープンソースのチャットモデル
- Authors: Canwen Xu and Daya Guo and Nan Duan and Julian McAuley
- Abstract要約: 高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。
我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
得られたモデルはBaizeと呼ばれ、マルチターン対話において優れた性能を示す。
- 参考スコア(独自算出の注目度): 55.097573036580066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chat models, such as ChatGPT, have shown impressive capabilities and have
been rapidly adopted across numerous domains. However, these models are only
accessible through a restricted API, creating barriers for new research and
progress in the field. We propose a pipeline that can automatically generate a
high-quality multi-turn chat corpus by leveraging ChatGPT to engage in a
conversation with itself. Subsequently, we employ parameter-efficient tuning to
enhance LLaMA, an open-source large language model. The resulting model, named
Baize, demonstrates good performance in multi-turn dialogues with guardrails
that minimize potential risks.
- Abstract(参考訳): ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。
しかし、これらのモデルは制限付きAPIを通じてのみアクセス可能であり、この分野における新たな研究と進歩の障壁となる。
そこで本研究では,chatgptを利用して対話を行うことで,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。
その後,オープンソースの大規模言語モデルであるLLaMAを強化するためにパラメータ効率のチューニングを用いる。
得られたモデルBaizeは、潜在的なリスクを最小限に抑えるガードレールとのマルチターン対話において、優れたパフォーマンスを示す。
関連論文リスト
- Large Language Models as Zero-shot Dialogue State Tracker through
Function Calling [43.398480895989024]
本稿では,大言語モデル(LLM)を用いた対話状態追跡の関数呼び出しによる解法を提案する。
この方法はゼロショットDSTを改善し、広範囲のデータ収集やモデルチューニングなしに多様なドメインに適応できる。
実験結果から,本手法はオープン・ソースとプロプライエタリ・LLMの両方で優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-02-16T06:13:18Z) - Blending Is All You Need: Cheaper, Better Alternative to
Trillion-Parameters LLM [9.340519360486924]
より小さなモデルの組み合わせは、特異な大きなモデルと比較して、同等または拡張されたパフォーマンスを協調的に達成できるだろうか?
我々は,複数のチャットAIを統合する上で,単純かつ効果的な手法である「ブレンディング」というアプローチを導入する。
例えば、中程度のサイズの3つのモデル(6B/13Bパラメータ)を統合することで、ChatGPT (175B+パラメータ)のようなかなり大きなモデルのパフォーマンス指標に匹敵したり、超えたりすることができる。
論文 参考訳(メタデータ) (2024-01-04T07:45:49Z) - ChatIllusion: Efficient-Aligning Interleaved Generation ability with
Visual Instruction Model [50.25905026285644]
MLLM(Advanced Generative Multimodal Large Language Model)であるChatIllusionを紹介する。
ChatIllusionは、安定拡散XLとLlamaを統合している。
ChatIllusionの中心的なコンポーネントは"GenAdapter"である。
論文 参考訳(メタデータ) (2023-11-29T11:30:33Z) - SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。
提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
論文 参考訳(メタデータ) (2023-07-02T13:36:36Z) - Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and
Language Models [60.04060735194162]
本研究は,ビデオチャットGPTを導入することで,ビデオベースの会話の未探索領域に対処する。
ビデオ適応型ビジュアルエンコーダと大言語モデル(LLM)を融合したマルチモーダルモデルである。
このモデルは、ビデオに関する人間のような会話を理解し、生成することができる。
論文 参考訳(メタデータ) (2023-06-08T17:59:56Z) - The False Promise of Imitating Proprietary LLMs [158.65692029352584]
より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。
このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。
まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。
次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
論文 参考訳(メタデータ) (2023-05-25T05:00:12Z) - Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations [91.98516412612739]
まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。
我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。
我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
論文 参考訳(メタデータ) (2023-05-23T16:49:14Z) - Rewarding Chatbots for Real-World Engagement with Millions of Users [1.2583983802175422]
本研究では,ユーザエンゲージメントを優先して保持性を高めるソーシャルチャットボットの開発について検討する。
提案手法では,ユーザインタラクションから収集した擬似ラベルを用いて報酬モデルのトレーニングを行う。
Chai Researchプラットフォーム上の1万人のデイリーチャットユーザを対象としたA/Bテストは、このアプローチがMCLを最大70%向上させることを示している。
今後の作業は、報酬モデルを使用してデータフライホイールを実現し、最新のユーザ会話を使用して、言語モデルと報酬モデルを交互に微調整することを目的としている。
論文 参考訳(メタデータ) (2023-03-10T18:53:52Z) - Low-Resource Adaptation of Open-Domain Generative Chatbots [0.0]
低パラメータモデルは、特定の領域を改善しながら、会話能力の一般的な知識を維持することができることを示す。
本稿では,質問型の多様さを考慮し,マルチターン会話を通して参照を追跡し,不整合性や潜在的有害な応答を除去する汎用フレームワークを提案する。
われわれのフレームワークはチャットとトランザクションタスクをシームレスに移行し、最終的にはデジタルアシスタントとの対話をより人間らしくする。
論文 参考訳(メタデータ) (2021-08-13T17:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。