論文の概要: EC-Guide: A Comprehensive E-Commerce Guide for Instruction Tuning and Quantization
- arxiv url: http://arxiv.org/abs/2408.02970v1
- Date: Tue, 6 Aug 2024 05:50:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 14:49:26.972766
- Title: EC-Guide: A Comprehensive E-Commerce Guide for Instruction Tuning and Quantization
- Title(参考訳): EC-Guide: インストラクションチューニングと量子化のための総合的なEコマースガイド
- Authors: Zhaopeng Feng, Zijie Meng, Zuozhu Liu,
- Abstract要約: EC-Guide hrefhttps://github.com/fzp0424/EC-Guide-KDDUP-2024は、LCMのチューニングと量子化のための総合的な電子商取引ガイドである。
私たちのソリューションはモデルに依存しないため、大規模なシステムにまたがる効果的なスケーラビリティを実現しています。
- 参考スコア(独自算出の注目度): 7.982538359035973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have attracted considerable attention in various fields for their cost-effective solutions to diverse challenges, especially with advancements in instruction tuning and quantization. E-commerce, with its complex tasks and extensive product-user interactions, presents a promising application area for LLMs. However, the domain-specific concepts and knowledge inherent in e-commerce pose significant challenges for adapting general LLMs. To address this issue, we developed EC-Guide \href{https://github.com/fzp0424/EC-Guide-KDDUP-2024}, a comprehensive e-commerce guide for instruction tuning and quantization of LLMs. We also heuristically integrated Chain-of-Thought (CoT) during inference to enhance arithmetic performance. Our approach achieved the 2nd place in Track 2 and 5th place in Track 5 at the Amazon KDD Cup'24 \href{https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms }. Additionally, our solution is model-agnostic, enabling effective scalability across larger systems.
- Abstract(参考訳): 大規模言語モデル (LLM) は、様々な課題に対するコスト効率のよい解決策、特に命令チューニングや量子化の進歩により、様々な分野で大きな注目を集めている。
複雑なタスクと広範囲な製品-ユーザインタラクションを備えたeコマースは、LLMにとって有望なアプリケーション領域を提供する。
しかし、eコマースに固有のドメイン固有の概念と知識は、一般的なLLMを適用する上で大きな課題となる。
この問題に対処するため,LLMのチューニングと量子化のための総合的なeコマースガイドであるEC-Guide \href{https://github.com/fzp0424/EC-Guide-KDDUP-2024} を開発した。
また,計算性能を向上させるため,推論中にCoT(Chain-of-Thought)をヒューリスティックに統合した。
我々は,Amazon KDD Cup'24 \href{https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-onpping-challenge-for-llms}において,トラック2とトラック5の2位を獲得した。
さらに、当社のソリューションはモデルに依存しないため、大規模システムにまたがる効率的なスケーラビリティを実現しています。
関連論文リスト
- SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。
既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
論文 参考訳(メタデータ) (2024-07-11T05:38:15Z) - New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。
しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。
これらの課題に対処するための最近の進歩と研究の方向性について概観する。
論文 参考訳(メタデータ) (2024-06-16T11:56:50Z) - VoCoT: Unleashing Visually Grounded Multi-Step Reasoning in Large Multi-Modal Models [32.10766568096317]
本稿では,LMMを用いた推論に適した多段階の視覚的対象中心連鎖推論フレームワークであるVoCoTを提案する。
VoCoTの特徴は,(1)オブジェクト中心の推論経路,(2)オブジェクト概念を多モードのインターリーブ・アライメントで視覚的に表現する,という2つの特徴である。
論文 参考訳(メタデータ) (2024-05-27T08:12:00Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models
with Semi-structured Data [67.8302955948861]
大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。
これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。
我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
論文 参考訳(メタデータ) (2023-12-25T11:31:47Z) - Self-prompted Chain-of-Thought on Large Language Models for Open-domain
Multi-hop Reasoning [70.74928578278957]
オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。
大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。
高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
論文 参考訳(メタデータ) (2023-10-20T14:51:10Z) - EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task
Tasks for E-commerce [68.72104414369635]
本稿では,約250万の命令データを持つ電子商取引指導データセットであるEcomInstructを提案する。
EcomGPTは、Eコマースタスクにおけるクロスデータセット/タスクの一般化という観点で、ChatGPTを上回っている。
論文 参考訳(メタデータ) (2023-08-14T06:49:53Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - Learning to Minimize Cost-to-Serve for Multi-Node Multi-Product Order
Fulfilment in Electronic Commerce [3.3865605512957457]
サプライチェーンの最も多くのノードから製品を提供するコストが重要な課題であることに気付きました。
大規模で高確率で地理的に広がるeコマースサプライチェーンは、慎重に設計されたデータ駆動意思決定アルゴリズムに理想的だ。
強化学習に基づくアルゴリズムは,これらのポリシーと競合し,実世界における効率的なスケールアップの可能性を示す。
論文 参考訳(メタデータ) (2021-12-16T09:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。