論文の概要: Unsupervised Meta Learning for One Shot Title Compression in Voice
Commerce
- arxiv url: http://arxiv.org/abs/2102.10760v1
- Date: Mon, 22 Feb 2021 03:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 15:28:04.056095
- Title: Unsupervised Meta Learning for One Shot Title Compression in Voice
Commerce
- Title（参考訳）: 音声コマースにおけるワンショットタイトル圧縮のための教師なしメタ学習
- Authors: Snehasish Mukherjee
- Abstract要約: 音声およびモバイルコマース向けの製品タイトル圧縮は、これまで提案されたいくつかの監督モデルでよく研究された問題です。
タイトル圧縮をメタラーニング問題としてモデル化し、1つの例圧縮だけを与えられたタイトル圧縮モデルを学べますか?
16000人の群衆が生成したメタテスト実験の結果、教師なしのメタトレーニングシステムでは、各タスクに1つの例しか見つからず、異なるタスクの学習アルゴリズムを習得できることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Product title compression for voice and mobile commerce is a well studied
problem with several supervised models proposed so far. However these models
have 2 major limitations; they are not designed to generate compressions
dynamically based on cues at inference time, and they do not transfer well to
different categories at test time. To address these shortcomings we model title
compression as a meta learning problem where we ask can we learn a title
compression model given only 1 example compression? We adopt an unsupervised
approach to meta training by proposing an automatic task generation algorithm
that models the observed label generation process as the outcome of 4
unobserved processes. We create parameterized approximations to each of these 4
latent processes to get a principled way of generating random compression
rules, which are treated as different tasks. For our main meta learner, we use
2 models; M1 and M2. M1 is a task agnostic embedding generator whose output
feeds into M2 which is a task specific label generator. We pre-train M1 on a
novel unsupervised segment rank prediction task that allows us to treat M1 as a
segment generator that also learns to rank segments during the meta-training
process. Our experiments on 16000 crowd generated meta-test examples show that
our unsupervised meta training regime is able to acquire a learning algorithm
for different tasks after seeing only 1 example for each task. Further, we show
that our model trained end to end as a black box meta learner, outperforms non
parametric approaches. Our best model obtains an F1 score of 0.8412, beating
the baseline by a large margin of 25 F1 points.
- Abstract（参考訳）: 音声およびモバイルコマース向けの製品タイトル圧縮は、これまで提案されたいくつかの監督モデルでよく研究された問題です。
しかし、これらのモデルには2つの大きな制限がある。推論時のキューに基づいて動的に圧縮を生成するように設計されていないため、テスト時に異なるカテゴリにうまく転送されない。
これらの欠点に対処するために、タイトル圧縮をメタ学習問題としてモデル化し、1例の圧縮のみを与えられたタイトル圧縮モデルを学習できるかを問う。
4つの非オブザーブドプロセスの結果として観測されたラベル生成プロセスをモデル化する自動タスク生成アルゴリズムを提案することにより,教師なしのメタトレーニング手法を採用する。
これら4つの潜在プロセスそれぞれにパラメータ化近似を作成し、異なるタスクとして扱われるランダムな圧縮ルールを生成する原則的な方法を得る。
主要なメタ学習では、M1とM2の2つのモデルを使用します。
M1はタスク依存の埋め込みジェネレータであり、その出力はタスク固有のラベルジェネレータであるM2に供給される。
我々は、メタトレーニングプロセス中にセグメントをランク付けすることを学ぶセグメントジェネレータとしてm1を扱える新しい教師なしセグメントランク予測タスクをm1に事前トレーニングする。
16000人の群衆が生成したメタテスト実験の結果、教師なしのメタトレーニングシステムでは、各タスクに1つの例しか見つからず、異なるタスクの学習アルゴリズムを習得できることがわかった。
さらに,本モデルでは,ブラックボックスメタ学習者として終末訓練を行い,非パラメトリックアプローチよりも優れていることを示す。
我々の最良のモデルではF1スコアが0.8412であり、ベースラインを25F1ポイントの大差で打ち負かしている。
関連論文リスト
- Truncated Consistency Models [57.50243901368328]
トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。
このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。
整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
論文 参考訳（メタデータ） (2024-10-18T22:38:08Z) - Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳（メタデータ） (2024-02-08T03:46:32Z) - Meta-training with Demonstration Retrieval for Efficient Few-shot
Learning [11.723856248352007]
大規模な言語モデルは、数ショットのNLPタスクで印象的な結果を示す。
これらのモデルはメモリと計算集約である。
本稿では,実演検索によるメタトレーニングを提案する。
論文 参考訳（メタデータ） (2023-06-30T20:16:22Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - Task Attended Meta-Learning for Few-Shot Learning [3.0724051098062097]
そこで我々は,タスクアサートメタトレーニングと呼ばれる,人間の選択的な焦点を動機とする学習カリキュラムを紹介し,タスクをバッチで重み付けする。
複雑なデータセットに対する非タスク付きモデルとの比較は、その有効性を検証する。
論文 参考訳（メタデータ） (2021-06-20T07:34:37Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。
本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。
特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文 参考訳（メタデータ） (2020-12-03T02:07:43Z) - Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads [114.77890059625162]
微調整前に深部学習前変換器を圧縮する単一ショットメタプランニング法を提案する。
下流の様々なタスクに適応的に不必要な注意を向けることに注力する。
事前学習したモデルに対する既存の圧縮手法と比較して、微調整と推論の両方のオーバーヘッドを低減することができる。
論文 参考訳（メタデータ） (2020-11-07T12:58:37Z) - A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。
そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文 参考訳（メタデータ） (2020-09-26T19:47:38Z) - Compression-aware Continual Learning using Singular Value Decomposition [2.4283778735260686]
本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。
近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。
本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
論文 参考訳（メタデータ） (2020-09-03T23:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。