論文の概要: eCeLLM: Generalizing Large Language Models for E-commerce from
Large-scale, High-quality Instruction Data
- arxiv url: http://arxiv.org/abs/2402.08831v1
- Date: Tue, 13 Feb 2024 22:26:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:33:02.354472
- Title: eCeLLM: Generalizing Large Language Models for E-commerce from
Large-scale, High-quality Instruction Data
- Title（参考訳）: eCeLLM: 大規模かつ高品質なインストラクションデータからEコマースのための大規模言語モデルを一般化する
- Authors: Bo Peng, Xinyi Ling, Ziru Chen, Huan Sun, Xia Ning
- Abstract要約: 電子商取引のための,最初のオープンソース,大規模,高品質なベンチマークインストラクションデータセットであるECInstructを構築した。
我々は,eコマース LLM のシリーズである eCeLLM を開発した。
eCeLLMは、目に見えない製品や目に見えない命令を含む、ドメイン外の設定に優れた一般化性を示す。
- 参考スコア（独自算出の注目度）: 13.835166230097231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With tremendous efforts on developing effective e-commerce models,
conventional e-commerce models show limited success in generalist e-commerce
modeling, and suffer from unsatisfactory performance on new users and new
products - a typical out-of-domain generalization challenge. Meanwhile, large
language models (LLMs) demonstrate outstanding performance in generalist
modeling and out-of-domain generalizability in many fields. Toward fully
unleashing their power for e-commerce, in this paper, we construct ECInstruct,
the first open-sourced, large-scale, and high-quality benchmark instruction
dataset for e-commerce. Leveraging ECInstruct, we develop eCeLLM, a series of
e-commerce LLMs, by instruction-tuning general-purpose LLMs. Our comprehensive
experiments and evaluation demonstrate that eCeLLM models substantially
outperform baseline models, including the most advanced GPT-4, and the
state-of-the-art task-specific models in in-domain evaluation. Moreover, eCeLLM
exhibits excellent generalizability to out-of-domain settings, including unseen
products and unseen instructions, highlighting its superiority as a generalist
e-commerce model. Both the ECInstruct dataset and the eCeLLM models show great
potential in empowering versatile and effective LLMs for e-commerce. ECInstruct
and eCeLLM models are publicly accessible through
https://ninglab.github.io/eCeLLM.
- Abstract（参考訳）: 効果的なeコマースモデルの開発に多大な努力をすることで、従来のeコマースモデルはジェネラリストのeコマースモデリングに限られた成功を示し、新しいユーザーや新製品のパフォーマンスに不満を抱いている。
一方、大規模言語モデル(LLM)は、多くの分野において、ジェネラリストモデリングとドメイン外一般化性において優れた性能を示す。
本稿では,電子商取引における電子商取引のパワーを完全に解き放つために,電子商取引のための最初のオープンソースで大規模で高品質なベンチマークインストラクションデータセットであるECInstructを構築した。
我々はECInstructを活用し,命令チューニング汎用LLMによるeコマースLLMであるeCeLLMを開発した。
包括的実験と評価の結果、eCeLLMモデルは、最も高度なGPT-4を含むベースラインモデルや、ドメイン内評価における最先端タスク固有モデルよりも大幅に優れていることが示された。
さらに、eCeLLMは、見えない製品や見えない指示を含むドメイン外の設定に対して優れた一般化性を示し、ジェネラリストeコマースモデルとしての優位性を強調している。
ECInstructデータセットとeCeLLMモデルの両方は、電子商取引において多目的かつ効果的なLLMを強化する大きな可能性を示している。
ECInstructとeCeLLMモデルはhttps://ninglab.github.io/eCeLLMを通じて公開されている。
関連論文リスト
- Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。
本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。
生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文 参考訳（メタデータ） (2024-03-14T08:18:59Z) - EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models
with Semi-structured Data [67.8302955948861]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。
これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。
我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
論文 参考訳（メタデータ） (2023-12-25T11:31:47Z) - MindLLM: Pre-training Lightweight Large Language Model from Scratch,
Evaluations and Domain Applications [46.337078949637345]
我々は、スクラッチから訓練されたバイリンガル軽量な大規模言語モデルの新しいシリーズであるMindLLMを紹介する。
大規模なモデル開発で得られた経験の詳細な説明が与えられ、プロセスのすべてのステップをカバーする。
MindLLMは、いくつかの公開ベンチマークにおいて、他のオープンソースの大規模モデルのパフォーマンスと一貫して一致または上回っている。
論文 参考訳（メタデータ） (2023-10-24T12:22:34Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:09:44Z) - EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task
Tasks for E-commerce [68.72104414369635]
本稿では,約250万の命令データを持つ電子商取引指導データセットであるEcomInstructを提案する。
EcomGPTは、Eコマースタスクにおけるクロスデータセット/タスクの一般化という観点で、ChatGPTを上回っている。
論文 参考訳（メタデータ） (2023-08-14T06:49:53Z) - LLaMA-E: Empowering E-commerce Authoring with Multi-Aspect Instruction
Following [13.05587396825279]
本稿では,多様なeコマースオーサリングタスクに着目した,統一的でカスタマイズされた命令フォロー言語モデルであるLLaMA-Eを提案する。
GPT-3.5は、様々なスケールでLLaMA-Eモデルのトレーニングセットを形成するためにシード命令を拡張する教師モデルとして導入された。
論文 参考訳（メタデータ） (2023-08-09T12:26:37Z) - Learning Instance-Level Representation for Large-Scale Multi-Modal
Pretraining in E-commerce [35.73830796500975]
本研究では, ECLIPと呼ばれるインスタンス中心のマルチモーダル事前学習パラダイムを提案する。
高価な手作業によるアノテーションに頼ることなく、モデルが望ましい製品インスタンスに集中できるようにするために、2つの特別な設定されたプレテキストタスクが提案されている。
ECLIPは、さまざまな下流タスクにおいて既存の手法をはるかに上回り、現実世界のEコマースアプリケーションへの強力な転送可能性を示している。
論文 参考訳（メタデータ） (2023-04-06T04:14:41Z) - METRO: Efficient Denoising Pretraining of Large Scale Autoencoding
Language Models with Model Generated Signals [151.3601429216877]
本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。
我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。
結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-04-13T21:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。