論文の概要: Discriminative Pre-training for Low Resource Title Compression in
Conversational Grocery
- arxiv url: http://arxiv.org/abs/2012.06943v1
- Date: Sun, 13 Dec 2020 02:34:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-09 12:52:08.741920
- Title: Discriminative Pre-training for Low Resource Title Compression in
Conversational Grocery
- Title（参考訳）: 会話型食料品における低資源タイトル圧縮のための判別事前学習
- Authors: Snehasish Mukherjee, Phaniram Sayapaneni, Shankar Subramanya
- Abstract要約: 会話型食料品の中心的な問題は、短い製品タイトルの自動生成である。
本研究では,ラベルのないデータを用いて文脈表現を学習する事前学習型ソリューションを提案する。
walmartのオンライン食料品カタログでの実験では、最先端のモデルに匹敵する性能が得られた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The ubiquity of smart voice assistants has made conversational shopping
commonplace. This is especially true for low consideration segments like
grocery. A central problem in conversational grocery is the automatic
generation of short product titles that can be read out fast during a
conversation. Several supervised models have been proposed in the literature
that leverage manually labeled datasets and additional product features to
generate short titles automatically. However, obtaining large amounts of
labeled data is expensive and most grocery item pages are not as feature-rich
as other categories. To address this problem we propose a pre-training based
solution that makes use of unlabeled data to learn contextual product
representations which can then be fine-tuned to obtain better title compression
even in a low resource setting. We use a self-attentive BiLSTM encoder network
with a time distributed softmax layer for the title compression task. We
overcome the vocabulary mismatch problem by using a hybrid embedding layer that
combines pre-trained word embeddings with trainable character level
convolutions. We pre-train this network as a discriminator on a replaced-token
detection task over a large number of unlabeled grocery product titles.
Finally, we fine tune this network, without any modifications, with a small
labeled dataset for the title compression task. Experiments on Walmart's online
grocery catalog show our model achieves performance comparable to
state-of-the-art models like BERT and XLNet. When fine tuned on all of the
available training data our model attains an F1 score of 0.8558 which lags the
best performing model, BERT-Base, by 2.78% and XLNet by 0.28% only, while using
55 times lesser parameters than both. Further, when allowed to fine tune on 5%
of the training data only, our model outperforms BERT-Base by 24.3% in F1
score.
- Abstract（参考訳）: スマート音声アシスタントの普及により、会話型ショッピングが一般的になった。
これは特に食料品のような低い考慮事項に当てはまる。
会話型食料品における中心的な問題は、会話中に素早く読み出すことができる短い製品タイトルの自動生成である。
手動ラベル付きデータセットと追加の製品機能を活用して、短いタイトルを自動的に生成するいくつかの教師付きモデルが文献で提案されている。
しかし、大量のラベル付きデータを得ることは高価であり、ほとんどの食料品のページは他のカテゴリほど機能豊富ではない。
この問題に対処するために,未ラベルデータを用いてコンテキスト対応の製品表現を学習し,低リソース環境においてもより優れたタイトル圧縮を実現するための事前学習型ソリューションを提案する。
タイトル圧縮タスクには,時間分散ソフトマックス層を有する自己減衰BiLSTMエンコーダネットワークを用いる。
学習済み単語埋め込みと学習可能な文字レベルの畳み込みを組み合わせたハイブリッド組込み層を用いて語彙ミスマッチ問題を克服する。
我々はこのネットワークを、多数の未ラベルの食料品のタイトルに対して、置き換えられた検出タスクの差別者として事前訓練する。
最後に、タイトル圧縮タスク用の小さなラベル付きデータセットで、変更することなく、このネットワークを微調整する。
Walmartのオンライン食料品カタログの実験では、BERTやXLNetのような最先端のモデルに匹敵するパフォーマンスを実現しています。
利用可能なトレーニングデータをすべて微調整すると、私たちのモデルは、最高のパフォーマンスモデルであるBERT-Baseを2.78%、XLNetを0.28%、F1スコアが0.8558に達します。
さらに、トレーニングデータの5%のみに微調整を許すと、F1スコアでBERT-Baseを24.3%上回ります。
関連論文リスト
- Graphite: A Graph-based Extreme Multi-Label Short Text Classifier for Keyphrase Recommendation [3.4693396519698108]
Keyphrase Recommendationは、広告とeコマースにおいて重要な問題である。
従来のニューラルネットワークモデルは、大きなラベル空間のために実現不可能か、推論が遅いかのいずれかである。
本稿では,標準的なテキスト分類モデルに匹敵するリアルタイムなキーワードレコメンデーションを提供するグラフベースモデルを提案する。
論文 参考訳（メタデータ） (2024-07-29T23:41:26Z) - FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness
for Semi-Supervised Learning [73.13448439554497]
Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。
ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。
本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
論文 参考訳（メタデータ） (2023-10-25T06:57:59Z) - Sieve: Multimodal Dataset Pruning Using Image Captioning Models [11.362835828985494]
Vision-Language Models (VLM) は、大規模で多様でノイズの多いWebcrawledデータセットで事前トレーニングされている。
提案手法は,CLIPがノイズラベルを事前学習しているため,偽陽性や陰性などの複数の制約を伴っていると論じる。
そこで我々は,小,多様,整列した画像テキストペア上で事前訓練された画像キャプションモデルによって生成された合成キャプションを用いたプルーニング信号Sieveを提案する。
論文 参考訳（メタデータ） (2023-10-03T14:53:53Z) - Mitigating Shortcuts in Language Models with Soft Label Encoding [39.601442154096986]
近年の研究では、大きな言語モデルは自然言語理解(NLU)タスクのデータに急激な相関に依存することが示されている。
我々は,ソフトラベル(Soft Label)という,シンプルで効果的な脱バイアスフレームワークを提案する。
2つのNLUベンチマークタスクの実験により、SoftLEは分布外一般化を大幅に改善することが示された。
論文 参考訳（メタデータ） (2023-09-17T21:18:02Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳（メタデータ） (2023-03-09T09:05:47Z) - Cross-Modal Adapter for Text-Video Retrieval [91.9575196703281]
我々はパラメータ効率の良い微調整のための新しい$textbfCross-Modal Adapterを提示する。
アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。
MSR-VTT、MSVD、VATEX、ActivityNet、DiDeMoデータセットで完全に微調整されたメソッドと比較して、優れた、あるいは同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-11-17T16:15:30Z) - Online pseudo labeling for polyp segmentation with momentum networks [5.920947681019466]
半教師付き学習では、ラベルの品質がモデルパフォーマンスにおいて重要な役割を果たす。
本稿では,学生ネットワークのトレーニングに使用される擬似ラベルの品質を高めるための,新しい擬似ラベル方式を提案する。
実験結果は, 通常の手法を3%超え, ある程度のデータセットで完全に監督された結果に近づいた。
論文 参考訳（メタデータ） (2022-09-29T07:33:54Z) - Few-Shot Learning with Siamese Networks and Label Tuning [5.006086647446482]
適切な事前トレーニングを行うことで、テキストやラベルを埋め込むSiamese Networksが、競争力のある代替手段となることを示す。
ラベルの埋め込みだけを変えることで、数ショットのセットアップでモデルを適応できる、シンプルで計算効率の良い手法であるラベルチューニングを導入する。
論文 参考訳（メタデータ） (2022-03-28T11:16:46Z) - ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。
また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
論文 参考訳（メタデータ） (2022-01-04T20:08:17Z) - CaSP: Class-agnostic Semi-Supervised Pretraining for Detection and
Segmentation [60.28924281991539]
本稿では,タスク固有性バランスを向上するために,クラス非依存型半教師付き事前学習(CaSP)フレームワークを提案する。
我々は3.6Mの未ラベルデータを用いて、ImageNetで規定されたオブジェクト検出のベースラインよりも4.7%の顕著なパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2021-12-09T14:54:59Z) - ELECTRA: Pre-training Text Encoders as Discriminators Rather Than
Generators [108.3381301768299]
Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。
代用トークン検出という,より効率的な事前学習タスクを提案する。
論文 参考訳（メタデータ） (2020-03-23T21:17:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。