Fugu-MT 論文翻訳(概要): Predicting Query-Item Relationship using Adversarial Training and Robust Modeling Techniques

論文の概要: Predicting Query-Item Relationship using Adversarial Training and Robust Modeling Techniques

arxiv url: http://arxiv.org/abs/2208.10751v1
Date: Tue, 23 Aug 2022 06:10:06 GMT
ステータス: 処理完了
システム内更新日: 2022-08-24 13:36:14.075617
Title: Predicting Query-Item Relationship using Adversarial Training and Robust Modeling Techniques
Title（参考訳）: 逆訓練とロバストモデリング手法を用いた問合せ項目関係の予測
Authors: Min Seok Kim
Abstract要約: 本稿では,検索クエリ-イテム関係の予測に有効な方法を提案する。我々は,事前学習したトランスモデルとLSTMモデルを組み合わせて,対向学習を用いてモデルロバスト性を向上する。当社の戦略を応用して、KDDカップ2022製品代替分類タスクで10位を獲得しました。
参考スコア（独自算出の注目度）: 2.4442957793630584
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present an effective way to predict search query-item relationship. We combine pre-trained transformer and LSTM models, and increase model robustness using adversarial training, exponential moving average, multi-sampled dropout, and diversity based ensemble, to tackle an extremely difficult problem of predicting against queries not seen before. All of our strategies focus on increasing robustness of deep learning models and are applicable in any task where deep learning models are used. Applying our strategies, we achieved 10th place in KDD Cup 2022 Product Substitution Classification task.
Abstract（参考訳）: 検索クエリーとテーマの関係を予測する効果的な方法を提案する。我々は,事前学習したトランスフォーマーとLSTMモデルを組み合わせ,対向的トレーニング,指数移動平均,マルチサンプルドロップアウト,多様性に基づくアンサンブルを用いてモデルロバスト性を向上させることで,これまでにないクエリに対する予測の極めて難しい問題に対処する。私たちの戦略はすべて、ディープラーニングモデルの堅牢性向上に重点を置いており、ディープラーニングモデルを使用する任意のタスクに適用可能です。提案手法を応用し,kdd cup 2022製品置換分類タスクにおいて10位となった。

関連論文リスト

Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文参考訳（メタデータ） (2024-10-06T15:25:39Z)
Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。最適モデルの復元が保証される混合整数最適化の定式化を開発する。本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文参考訳（メタデータ） (2024-03-28T22:45:38Z)
Unified Embedding Based Personalized Retrieval in Etsy Search [0.206242362470764]
グラフ, 変換器, 項ベース埋め込みを終末に組み込んだ統合埋め込みモデルを学習することを提案する。我々のパーソナライズされた検索モデルは、検索購入率5.58%、サイト全体のコンバージョン率2.63%によって、検索体験を著しく改善する。
論文参考訳（メタデータ） (2023-06-07T23:24:50Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文参考訳（メタデータ） (2023-01-31T07:31:34Z)
DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文参考訳（メタデータ） (2022-04-03T02:29:11Z)
Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
論文参考訳（メタデータ） (2021-07-05T07:18:20Z)
Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
論文参考訳（メタデータ） (2021-02-16T17:21:55Z)
Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
論文参考訳（メタデータ） (2021-01-20T13:59:25Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。