論文の概要: EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce

• arxiv url: http://arxiv.org/abs/2308.06966v2
• Date: Mon, 28 Aug 2023 04:12:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 20:57:05.721167
• Title: EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
• Title（参考訳）: EcomGPT:Eコマースにおけるタスクの連鎖を伴う大規模言語モデル指導
• Authors: Yangning Li, Shirong Ma, Xiaobin Wang, Shen Huang, Chengyue Jiang, Hai-Tao Zheng, Pengjun Xie, Fei Huang, Yong Jiang
• Abstract要約: 本稿では,約250万の命令データを持つ電子商取引指導データセットであるEcomInstructを提案する。 EcomGPTは、Eコマースタスクにおけるクロスデータセット/タスクの一般化という観点で、ChatGPTを上回っている。
• 参考スコア（独自算出の注目度）: 68.72104414369635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, instruction-following Large Language Models (LLMs) , represented by ChatGPT, have exhibited exceptional performance in general Natural Language Processing (NLP) tasks. However, the unique characteristics of E-commerce data pose significant challenges to general LLMs. An LLM tailored specifically for E-commerce scenarios, possessing robust cross-dataset/task generalization capabilities, is a pressing necessity. To solve this issue, in this work, we proposed the first e-commerce instruction dataset EcomInstruct, with a total of 2.5 million instruction data. EcomInstruct scales up the data size and task diversity by constructing atomic tasks with E-commerce basic data types, such as product information, user reviews. Atomic tasks are defined as intermediate tasks implicitly involved in solving a final task, which we also call Chain-of-Task tasks. We developed EcomGPT with different parameter scales by training the backbone model BLOOMZ with the EcomInstruct. Benefiting from the fundamental semantic understanding capabilities acquired from the Chain-of-Task tasks, EcomGPT exhibits excellent zero-shot generalization capabilities. Extensive experiments and human evaluations demonstrate that EcomGPT outperforms ChatGPT in term of cross-dataset/task generalization on E-commerce tasks.
• Abstract（参考訳）: 近年,ChatGPTで表される命令追従型Large Language Models (LLMs) は,自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、Eコマースデータの特徴は、一般のLLMにとって大きな課題となっている。 堅牢なクロスデータセット/タスクの一般化機能を持つEコマースシナリオに特化して設計されたLLMは、迫力のある必需品である。 この問題を解決するため,本研究では,約250万のインストラクションデータを持つ電子商取引指導データセットであるEcomInstructを提案する。 EcomInstructは、製品情報やユーザレビューなど、Eコマースの基本データタイプでアトミックタスクを構築することで、データサイズとタスクの多様性をスケールアップする。 アトミックタスクは、最終タスクの解決に暗黙的に関与する中間タスクとして定義されます。 バックボーンモデルBLOOMZをEcom Instructでトレーニングすることにより,パラメータスケールの異なるEcomGPTを開発した。 Chain-of-Taskタスクから得られる基本的な意味理解機能から恩恵を受け、EcomGPTは優れたゼロショット一般化能力を示す。 大規模な実験と人的評価により、E-Commerceタスクにおけるクロスデータセット/タスクの一般化の観点から、EcomGPTがChatGPTより優れていることが示された。

関連論文リスト

• From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
  本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。 タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。 超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T08:14:28Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• PUMGPT: A Large Vision-Language Model for Product Understanding [18.70740237744492]
  PumGPTは、マルチモーダル製品理解タスク用に設計された最初の電子商取引専用LVLMである。 実験の結果,PumGPTは製品理解タスクにおいて,他の5つのオープンソースLVLMおよびGPT-4Vより優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-18T14:01:37Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Zero-shot Item-based Recommendation via Multi-task Product Knowledge Graph Pre-Training [106.85813323510783]
  本稿ではゼロショットアイテムベース勧告(ZSIR)タスクのための新しいパラダイムを提案する。 製品知識グラフ(PKG)のモデルを事前トレーニングして、PLMからアイテム機能を洗練します。 我々は,PKGにおける多型関係,アイテムジェネリック情報と関係のセマンティックな相違,PKGから下流ZSIRタスクへのドメイン差といった,PKG事前学習の課題を3つ挙げる。
  論文  参考訳（メタデータ） (2023-05-12T17:38:24Z)
• Learning Instance-Level Representation for Large-Scale Multi-Modal Pretraining in E-commerce [35.73830796500975]
  本研究では, ECLIPと呼ばれるインスタンス中心のマルチモーダル事前学習パラダイムを提案する。 高価な手作業によるアノテーションに頼ることなく、モデルが望ましい製品インスタンスに集中できるようにするために、2つの特別な設定されたプレテキストタスクが提案されている。 ECLIPは、さまざまな下流タスクにおいて既存の手法をはるかに上回り、現実世界のEコマースアプリケーションへの強力な転送可能性を示している。
  論文  参考訳（メタデータ） (2023-04-06T04:14:41Z)
• Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models [20.173322408302134]
  構成微調整は、対象タスクをコンポーネントタスクに明示的に分解するアプローチである。 CFTは、同じ量のデータでもエンド・ツー・エンドの学習より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T03:22:34Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。