論文の概要: Training Microsoft News Recommenders with Pretrained Language Models in the Loop

• arxiv url: http://arxiv.org/abs/2102.09268v1
• Date: Thu, 18 Feb 2021 11:08:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-20 04:31:18.171994
• Title: Training Microsoft News Recommenders with Pretrained Language Models in the Loop
• Title（参考訳）: microsoft news recommendersを事前学習した言語モデルをループでトレーニングする
• Authors: Shitao Xiao, Zheng Liu, Yingxia Shao, Tao Di and Xing Xie
• Abstract要約: 優れた品質のPLMニュースレコメンダーを効率的にトレーニングする新しいフレームワークであるSpeedyFeedを提案します。 speedyfeedは、繰り返しだが冗長なエンコーディング操作のほとんどを取り除く軽量エンコーディングパイプラインで強調されている。 PLMsベースのモデルは、総合的なオフライン実験において最先端のニュースレコメンデーションよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 22.96193782709208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: News recommendation calls for deep insights of news articles' underlying semantics. Therefore, pretrained language models (PLMs), like BERT and RoBERTa, may substantially contribute to the recommendation quality. However, it's extremely challenging to have news recommenders trained together with such big models: the learning of news recommenders requires intensive news encoding operations, whose cost is prohibitive if PLMs are used as the news encoder. In this paper, we propose a novel framework, SpeedyFeed, which efficiently trains PLMs-based news recommenders of superior quality. SpeedyFeed is highlighted for its light-weighted encoding pipeline, which gives rise to three major advantages. Firstly, it makes the intermedia results fully reusable for the training workflow, which removes most of the repetitive but redundant encoding operations. Secondly, it improves the data efficiency of the training workflow, where non-informative data can be eliminated from encoding. Thirdly, it further saves the cost by leveraging simplified news encoding and compact news representation. SpeedyFeed leads to more than 100$\times$ acceleration of the training process, which enables big models to be trained efficiently and effectively over massive user data. The well-trained PLMs-based model significantly outperforms the state-of-the-art news recommenders in comprehensive offline experiments. It is applied to Microsoft News to empower the training of large-scale production models, which demonstrate highly competitive online performances. SpeedyFeed is also a model-agnostic framework, thus being potentially applicable to a wide spectrum of content-based recommender systems. We've made the source code open to the public so as to facilitate research and applications in related areas.
• Abstract（参考訳）: ニュースレコメンデーションは、ニュース記事の基本セマンティクスの深い洞察を求める。 したがって、BERTやRoBERTaのような事前訓練された言語モデル(PLM)は、推奨品質に大きく貢献する可能性がある。 ニュースレコメンダの学習には集中的なニュースエンコーディング操作が必要ですが、plmをニュースエンコーダとして使用する場合、そのコストは制限されます。 本稿では、優れた品質のPLMニュースレコメンダーを効率的にトレーニングする新しいフレームワークであるSpeedyFeedを提案する。 speedyfeedは、ライトウェイトエンコーディングパイプラインで強調されており、3つの大きな利点がある。 まず、トレーニングワークフローで中間結果を完全に再利用し、繰り返しながら冗長なエンコーディング操作の大部分を取り除く。 第二に、非情報的データをエンコーディングから排除できるトレーニングワークフローのデータ効率を改善します。 第三に、シンプルなニュースエンコーディングとコンパクトなニュース表現を活用することで、コストをさらに削減します。 SpeedyFeedは、トレーニングプロセスの100$\times$アクセラレーション以上をもたらし、巨大なモデルが大規模なユーザーデータに対して効率的かつ効果的にトレーニングできるようにします。 よく訓練されたPLMベースのモデルは、包括的なオフライン実験で最先端のニュースレコメンダーを大幅に上回ります。 競争力の高いオンラインパフォーマンスを示す大規模な生産モデルのトレーニングを強化するために、Microsoft Newsに適用されます。 SpeedyFeedはモデルに依存しないフレームワークでもあり、幅広いコンテンツベースのレコメンデーションシステムに適用できる可能性がある。 関連分野の研究やアプリケーションを容易にするために、ソースコードを一般に公開しました。

関連論文リスト

• Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs [56.040198387038025]
  トレーニング不要ビデオLLMの効率的な推論のための新しいプロンプト誘導視覚認識フレームワーク(Free Video-LLM)を提案する。 提案手法は,複数のビデオ質問応答ベンチマークにおいて高い性能を維持しながら,視覚トークンの数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-10-14T12:35:12Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Efficient Multimodal Learning from Data-centric Perspective [21.35857180519653]
  効率的なマルチモーダル学習のためのフレキシブルビジョンと言語バックボーンを備えた軽量MLLMのファミリであるBunnyを紹介する。 実験の結果,Bunny-4B/8Bは複数のベンチマークで最先端の大規模MLLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T10:09:10Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of Language Models [40.54353850357839]
  トレーニングコーパスの高度に代表的なサブセットを選択するために、サブモジュラー最適化を利用する方法を示す。 その結果,完全学習モデルの性能の最大$sim99%が得られた。
  論文  参考訳（メタデータ） (2023-05-11T09:24:41Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• NewsBERT: Distilling Pre-trained Language Model for Intelligent News Application [56.1830016521422]
  本稿では,学習済み言語モデルを抽出し,効率的なニュースインテリジェンスを実現するNewsBERTを提案する。 そこで本研究では,教師と学生の共学モデルを協調的に学習するための,教師と学生の共学学習・蒸留の枠組みを設計する。 実験では,NewsBERTはより小さなモデルで,様々なインテリジェントなニュースアプリケーションのモデル性能を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-09T15:41:12Z)
• Teaching with Commentaries [108.62722733649542]
  コメントとメタ情報を用いたフレキシブルな教育フレームワークを提案する。 解説はトレーニングのスピードと/またはパフォーマンスを改善することができる。 パフォーマンスのメリットを得るために、新しいモデルをトレーニングするときに、コメンタリを再利用できる。
  論文  参考訳（メタデータ） (2020-11-05T18:52:46Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。