論文の概要: More diverse more adaptive: Comprehensive Multi-task Learning for Improved LLM Domain Adaptation in E-commerce

• arxiv url: http://arxiv.org/abs/2504.08002v1
• Date: Wed, 09 Apr 2025 08:30:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:19:20.927254
• Title: More diverse more adaptive: Comprehensive Multi-task Learning for Improved LLM Domain Adaptation in E-commerce
• Title（参考訳）: より多様な適応性:EコマースにおけるLLMドメイン適応の改善のための総合マルチタスク学習
• Authors: Tong Piao, Pei Tang, Zhipeng Zhang, Jiaqi Li, Qiao Liu, Zufeng Wu,
• Abstract要約: 本稿では,多種多様なデータやタスクが大規模言語モデルに与える影響を検討するために,総合的なeコマースマルチタスクフレームワークを提案し,実証実験を設計する。 具体的には,新たな主要機能領域に関連するタスクを段階的に導入することにより,LLM性能の大幅な向上を観察する。 最後に,KDDカップ2024における経験的実験から得られたベストパフォーマンスモデルを検証し,タスク1のランク5を達成した。
• 参考スコア（独自算出の注目度）: 13.777910206222725
• License:
• Abstract: In recent years, Large Language Models (LLMs) have been widely applied across various domains due to their powerful domain adaptation capabilities. Previous studies have suggested that diverse, multi-modal data can enhance LLMs' domain adaptation performance. However, this hypothesis remains insufficiently validated in the e-commerce sector. To address this gap, we propose a comprehensive e-commerce multi-task framework and design empirical experiments to examine the impact of diverse data and tasks on LLMs from two perspectives: "capability comprehensiveness" and "task comprehensiveness." Specifically, we observe significant improvements in LLM performance by progressively introducing tasks related to new major capability areas and by continuously adding subtasks within different major capability domains. Furthermore, we observe that increasing model capacity amplifies the benefits of diversity, suggesting a synergistic relationship between model capacity and data diversity. Finally, we validate the best-performing model from our empirical experiments in the KDD Cup 2024, achieving a rank 5 in Task 1. This outcome demonstrates the significance of our research for advancing LLMs in the e-commerce domain.
• Abstract（参考訳）: 近年、Large Language Models (LLM) は、その強力なドメイン適応能力のために、様々なドメインに広く適用されている。 従来の研究では、多モードデータによりLLMのドメイン適応性能が向上することが示唆されている。 しかし、この仮説は電子商取引部門では不十分に検証されている。 このギャップに対処するため、我々は、多種多様なデータやタスクがLCMに与える影響を「能力の包括性」と「タスクの包括性」という2つの視点から検討する総合的なeコマースマルチタスクフレームワークと、実証実験を設計する。 具体的には、新たな主要機能領域に関連するタスクを段階的に導入し、異なる主要機能領域にサブタスクを継続的に追加することにより、LLM性能の大幅な改善を観察する。 さらに,モデルキャパシティの増大は多様性の利点を増幅し,モデルキャパシティとデータ多様性の相乗的関係を示唆する。 最後に,KDDカップ2024における経験的実験から得られたベストパフォーマンスモデルを検証し,タスク1のランク5を達成した。 この結果は,eコマース分野におけるLSMの進展に本研究の意義を示すものである。

関連論文リスト

• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [36.277423093218275]
  大規模言語モデル(LLM)の全体的な能力向上におけるデータ多様性の役割について検討する。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance [0.32985979395737774]
  本稿では,ドメイン固有タスクのための細調整型大規模言語モデル (LLM) の詳細な解析を行う。 ドメイン固有のケースでは、ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略ではないことが分かりました。 我々は、Phi-3-Miniのような小さなモデルが、どのようにして最先端の結果が得られるかを実証する。
  論文  参考訳（メタデータ） (2024-10-01T22:35:56Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Investigating LLM Applications in E-Commerce [17.854070801235217]
  大規模言語モデル(LLM)は、特にeコマースにおける様々なアプリケーションにおける自然言語処理に革命をもたらした。 本稿では,電子商取引分野におけるLLMの有効性を考察し,様々な規模の公開電子商取引データセットを用いたオープンソースのLLMモデルの構築に焦点をあてる。 電子商取引特化業務において,テキスト内学習を用いた大規模LLMのニッチ産業応用の有効性について検討した。
  論文  参考訳（メタデータ） (2024-08-23T00:57:37Z)
• SilverSight: A Multi-Task Chinese Financial Large Language Model Based on Adaptive Semantic Space Learning [4.540505713937026]
  本研究では, 適応意味空間学習(ASSL)フレームワークを導入し, マルチエキスパートモデルの性能向上と選択効率の向上を図る。 研究結果から,本フレームワークはデータの10%に過ぎず,完全なデータトレーニングで得られた結果に近い結果が得られるとともに,強力な一般化能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-04-07T13:02:21Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models [56.256069117502385]
  Chain of Thought (CoT)アプローチは、複雑な推論タスクにおいて、LLM(Large Language Models)の能力を高めるために使用できる。 しかし、マルチモーダル推論における最適なCoT実例の選択は、まだ検討されていない。 本稿では,この課題に対処する新しい手法として,検索機構を用いて実演例を自動的に選択する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:07:21Z)
• MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks [56.60050181186531]
  MM-BigBenchを導入し、様々なモデルや命令のパフォーマンスを広範囲に評価する。 本稿では,6タスクにまたがる14のマルチモーダルデータセット上で,20の言語モデル (14 MLLM) を評価し,各タスクに10の指示を与え,新しい洞察を導き出す。
  論文  参考訳（メタデータ） (2023-10-13T11:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。