論文の概要: Pretrained Embeddings for E-commerce Machine Learning: When it Fails and Why?

• arxiv url: http://arxiv.org/abs/2304.04330v1
• Date: Sun, 9 Apr 2023 23:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:13:40.374997
• Title: Pretrained Embeddings for E-commerce Machine Learning: When it Fails and Why?
• Title（参考訳）: Eコマース機械学習のためのプレトレーニング済み埋め込み:いつそれが失敗し、なぜ?
• Authors: Da Xu, Bo Yang
• Abstract要約: 電子商取引アプリケーションにおける事前学習型埋め込みの利用について検討する。 事前にトレーニングされた埋め込みがどのように動作するのか、十分に理解されていないことが分かりました。 我々はカーネル解析のレンズを通して事前学習した埋め込みの原理的視点を確立する。
• 参考スコア（独自算出の注目度）: 18.192733659176806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of pretrained embeddings has become widespread in modern e-commerce machine learning (ML) systems. In practice, however, we have encountered several key issues when using pretrained embedding in a real-world production system, many of which cannot be fully explained by current knowledge. Unfortunately, we find that there is a lack of a thorough understanding of how pre-trained embeddings work, especially their intrinsic properties and interactions with downstream tasks. Consequently, it becomes challenging to make interactive and scalable decisions regarding the use of pre-trained embeddings in practice. Our investigation leads to two significant discoveries about using pretrained embeddings in e-commerce applications. Firstly, we find that the design of the pretraining and downstream models, particularly how they encode and decode information via embedding vectors, can have a profound impact. Secondly, we establish a principled perspective of pre-trained embeddings via the lens of kernel analysis, which can be used to evaluate their predictability, interactively and scalably. These findings help to address the practical challenges we faced and offer valuable guidance for successful adoption of pretrained embeddings in real-world production. Our conclusions are backed by solid theoretical reasoning, benchmark experiments, as well as online testings.
• Abstract（参考訳）: トレーニング済みの組み込みは、現代のeコマース機械学習(ml)システムで広く使われている。 しかし,実際に実運用システムに事前学習を組み込む際には,いくつかの重要な問題が発生しており,その多くが現在の知識で完全に説明できない。 残念なことに、プレトレーニング済みの埋め込み、特に本質的な性質と下流タスクとの相互作用について、十分に理解されていないことが分かりました。 その結果、事前にトレーニングされた埋め込みの使用に関してインタラクティブでスケーラブルな意思決定を行うことが困難になる。 調査の結果,電子商取引アプリケーションに予めトレーニング済みの埋め込みを使用することに関して,2つの重要な発見が得られた。 まず,プリトレーニングモデルと下流モデルの設計,特に組込みベクトルによる情報のエンコードとデコード方法が,大きな影響を与える可能性があることを見出した。 次に,事前学習された組込みの原理的視点をカーネル分析のレンズを通して確立し,その予測可能性,対話的,スカラー的に評価する。 これらの発見は、私たちが直面した実用的な課題に対処し、実運用で事前訓練された組込みを成功させるための貴重なガイダンスを提供するのに役立ちます。 私たちの結論は、堅固な理論的推論、ベンチマーク実験、オンラインテストによって裏付けられています。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Deep Learning and Machine Learning, Advancing Big Data Analytics and Management: Tensorflow Pretrained Models [17.372501468675303]
  この本では、ResNet、MobileNet、EfficientNetといったモダンアーキテクチャの実践的な実装を取り上げている。 線形探索とモデル微調整を比較し、PCA、t-SNE、UMAPといった技術を用いた可視化を提供する。 この本は、理論的な洞察と実践を融合することで、読者に様々な深層学習課題に自信を持って取り組む知識を与える。
  論文  参考訳（メタデータ） (2024-09-20T15:07:14Z)
• Informed Meta-Learning [55.2480439325792]
  メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。 我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。 データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• Machine Unlearning of Pre-trained Large Language Models [17.40601262379265]
  本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。 我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
  論文  参考訳（メタデータ） (2024-02-23T07:43:26Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• A critical look at the current train/test split in machine learning [6.475859946760842]
  分割プロトコル自体を詳しく見て、その弱点と制限を指摘します。 多くの実世界の問題では、仮定(ii)が成立しない状況が多数あることを認めなければならない。 適応ポリシーを含む適応型能動学習アーキテクチャ(AAL)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T17:07:20Z)
• Adversarial Training is Not Ready for Robot Learning [55.493354071227174]
  対人訓練は,ノルム有界摂動に耐性のあるディープラーニングモデルを訓練する有効な方法である。 敵訓練により得られたニューラルコントローラが3種類の欠陥を受けることを理論的および実験的に示す。 この結果から, ロボット学習にはまだ対応できていないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T07:51:31Z)
• Theoretical Understandings of Product Embedding for E-commerce Machine Learning [18.204325860752768]
  我々は,製品埋め込みのeコマース指向の視点を捉え,表現学習と学習理論の両面から完全に理論的視点を明らかにする。 広く採用されているスキップグラムネガティブサンプリングアルゴリズムによって訓練された製品埋め込みは、重要な製品関連測定に関する十分な寸法減少であることが証明されています。 下流機械学習タスクにおける一般化性能は、埋め込みと製品関連度尺度とのアライメントによって制御される。
  論文  参考訳（メタデータ） (2021-02-24T02:29:15Z)
• Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers [54.417299589288184]
  本研究では,概念ネットとそれに対応するオープンマインド・コモンセンス(OMCS)コーパスから,BERTの分布知識と概念知識を補完するモデルについて検討する。 我々のアダプタベースのモデルは,ConceptNet や OMCS に明示的に存在する概念的知識のタイプを必要とする推論タスクにおいて,BERT を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-05-24T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。