Fugu-MT 論文翻訳(概要): BERT Goes Shopping: Comparing Distributional Models for Product Representations

論文の概要: BERT Goes Shopping: Comparing Distributional Models for Product Representations

arxiv url: http://arxiv.org/abs/2012.09807v1
Date: Thu, 17 Dec 2020 18:18:03 GMT
ステータス: 処理完了
システム内更新日: 2021-05-02 07:21:26.903243
Title: BERT Goes Shopping: Comparing Distributional Models for Product Representations
Title（参考訳）: BERTが販売開始 - 製品表現の分散モデルの比較
Authors: Federico Bianchi and Bingqing Yu and Jacopo Tagliabue
Abstract要約: コンテキスト埋め込みによるNLPタスクの性能改善に触発されて,BERTのようなアーキテクチャをeコマースに移行することを提案する。当社のモデルであるProdBERTは、マスク付きセッションモデリングにより製品の表現を生成するために訓練されている。
参考スコア（独自算出の注目度）: 4.137464623395377
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Word embeddings (e.g., word2vec) have been applied successfully to eCommerce products through prod2vec. Inspired by the recent performance improvements on several NLP tasks brought by contextualized embeddings, we propose to transfer BERT-like architectures to eCommerce: our model -- ProdBERT -- is trained to generate representations of products through masked session modeling. Through extensive experiments over multiple shops, different tasks, and a range of design choices, we systematically compare the accuracy of ProdBERT and prod2vec embeddings: while ProdBERT is found to be superior to traditional methods in several scenarios, we highlight the importance of resources and hyperparameters in the best performing models. Finally, we conclude by providing guidelines for training embeddings under a variety of computational and data constraints.
Abstract（参考訳）: ワード埋め込み(例: word2vec)はprod2vecを通じてeコマース製品にうまく適用されている。コンテキスト化された埋め込みによってもたらされるいくつかのnlpタスクの最近のパフォーマンス改善に触発されて、我々はbertのようなアーキテクチャをeコマースに転送することを提案します。 ProdBERTは従来の手法よりもいくつかのシナリオで優れているが、最高の性能のモデルではリソースとハイパーパラメータの重要性を強調している。最後に、様々な計算およびデータ制約の下で埋め込みを訓練するためのガイドラインを提供することで結論付ける。

関連論文リスト

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
論文参考訳（メタデータ） (2024-11-15T18:59:27Z)
Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文参考訳（メタデータ） (2024-02-28T16:35:52Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
Multi-BERT for Embeddings for Recommendation System [0.0]
本稿では,Sentence-BERTとRoBERTaを組み合わせて文書埋め込みを生成する手法を提案する。提案手法では,文をトークンとして扱い,埋め込みを生成することにより,文書内の文内関係と文間関係の両方を抽出する。書籍推薦タスクにおいて本モデルを評価し,よりセマンティックにリッチで正確な文書埋め込みを生成する上での有効性を実証する。
論文参考訳（メタデータ） (2023-08-24T19:36:05Z)
oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
論文参考訳（メタデータ） (2023-03-30T01:37:19Z)
BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in Conversation [19.663265448700002]
会話における感情認識(ERC)に関するこれまでの研究は、2段階のパラダイムを踏襲している。本研究では,文脈情報と対話構造情報を微調整段階において探索する新しいパラダイムを提案する。本稿では,提案パラダイムに従って,ERC モデル BERT-ERC を開発し,ERC の性能を3つの面で向上させる。
論文参考訳（メタデータ） (2023-01-17T08:03:32Z)
A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
論文参考訳（メタデータ） (2022-07-02T13:27:59Z)
Which Student is Best? A Comprehensive Knowledge Distillation Exam for Task-Specific BERT Models [3.303435360096988]
タスク固有のBERTベースの教師モデルから様々な学生モデルへの知識蒸留ベンチマークを行う。インドネシア語でテキスト分類とシークエンスラベリングという2つのタスクでグループ化された12のデータセットについて実験を行った。実験の結果, トランスフォーマーモデルの普及にもかかわらず, BiLSTM と CNN の学生モデルを用いることで, 性能と計算資源の最良のトレードオフが得られることがわかった。
論文参考訳（メタデータ） (2022-01-03T10:07:13Z)
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
論文参考訳（メタデータ） (2021-08-23T14:28:23Z)
E-BERT: A Phrase and Product Knowledge Enhanced Language Model for E-commerce [63.333860695727424]
電子商取引タスクは、ドメインフレーズの正確な理解を必要とするが、そのようなきめ細かいフレーズレベルの知識は、BERTの訓練目的によって明示的にモデル化されていない。この問題に対処するため、我々はE-BERTという統合事前学習フレームワークを提案する。具体的には、フレーズレベルの知識を保存するために、適応的ハイブリッドマスキングを導入し、モデルが予備単語の知識から複雑なフレーズの学習に適応的に切り替えることを可能にする。製品レベルの知識を活用するために,E-BERT を訓練し,製品に付随する隣人を認知的なクロスアテンション層で予測するNighbor Product Restruction を導入する。
論文参考訳（メタデータ） (2020-09-07T00:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。