論文の概要: FiBiNet++: Reducing Model Size by Low Rank Feature Interaction Layer for CTR Prediction

• arxiv url: http://arxiv.org/abs/2209.05016v2
• Date: Mon, 21 Aug 2023 12:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 02:45:35.289387
• Title: FiBiNet++: Reducing Model Size by Low Rank Feature Interaction Layer for CTR Prediction
• Title（参考訳）: FiBiNet++:CTR予測のための低ランク特徴相互作用層によるモデルサイズ削減
• Authors: Pengtao Zhang and Zheng Zheng and Junlin Zhang
• Abstract要約: 本稿では,FiBiNetのモデル構造に対する新しいFiBiNet++モデルを提案する。 3つの公開データセットの実験によると、FiBiNet++は、3つのデータセットに対して、FiBiNetの非埋め込みモデルパラメータを12倍から16倍に効果的に削減する。
• 参考スコア（独自算出の注目度）: 2.2147449992337904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Click-Through Rate (CTR) estimation has become one of the most fundamental tasks in many real-world applications and various deep models have been proposed. Some research has proved that FiBiNet is one of the best performance models and outperforms all other models on Avazu dataset. However, the large model size of FiBiNet hinders its wider application. In this paper, we propose a novel FiBiNet++ model to redesign FiBiNet's model structure, which greatly reduces model size while further improves its performance. One of the primary techniques involves our proposed "Low Rank Layer" focused on feature interaction, which serves as a crucial driver of achieving a superior compression ratio for models. Extensive experiments on three public datasets show that FiBiNet++ effectively reduces non-embedding model parameters of FiBiNet by 12x to 16x on three datasets. On the other hand, FiBiNet++ leads to significant performance improvements compared to state-of-the-art CTR methods, including FiBiNet.
• Abstract（参考訳）: クリックスルー率(ctr)の推定は多くの実世界のアプリケーションにおいて最も基本的なタスクの一つとなり、様々な深層モデルが提案されている。 一部の研究では、FiBiNetは最高のパフォーマンスモデルの一つであり、Avazuデータセット上の他のモデルよりも優れていることが証明されている。 しかし、FiBiNetの大きなモデルサイズは、その幅広い応用を妨げる。 本稿では,FiBiNetのモデル構造を再設計する新しいFiBiNet++モデルを提案する。 主な手法の1つは、機能相互作用に焦点を当てた提案した「低ランク層」であり、モデルに対して優れた圧縮比を達成する上で重要な要因である。 3つの公開データセットに対する大規模な実験によると、FiBiNet++は3つのデータセットに対して、FiBiNetの非埋め込みモデルパラメータを12倍から16倍に効果的に削減する。 一方、FiBiNet++は、FiBiNetを含む最先端のCTRメソッドと比較して大幅にパフォーマンスが向上した。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• A Click-Through Rate Prediction Method Based on Cross-Importance of Multi-Order Features [4.820576346277399]
  本稿では,FiiNet (Multiple Order Feature Interaction Importance Neural Networks) という新しいモデルを提案する。 モデルはまず選択的なカーネルネットワーク(SKNet)を使用して、マルチオーダーの機能クロスを明示的に構築する。 機能相互作用の組み合わせの重要性をきめ細かな方法で動的に学習する。
  論文  参考訳（メタデータ） (2024-05-14T16:05:57Z)
• Towards Efficient and Real-Time Piano Transcription Using Neural Autoregressive Models [7.928003786376716]
  畳み込みリカレントニューラルネットワークのための新しいアーキテクチャを提案する。 我々は、ピッチワイズLSTMを用いて、音符状態のシーケンスモデリングを改善する。 我々は,提案モデルがMAESTROデータセットの音符精度の観点から,最先端モデルに匹敵することを示す。
  論文  参考訳（メタデータ） (2024-04-10T08:06:15Z)
• STU-Net: Scalable and Transferable Medical Image Segmentation Models Empowered by Large-Scale Supervised Pre-training [43.04882328763337]
  拡張性のあるU-Net(STU-Net)モデルを設計し、パラメータサイズは1400万から140億まで様々である。 我々は、大規模TotalSegmentatorデータセットでスケーラブルなSTU-Netモデルをトレーニングし、モデルサイズの増加がより強力なパフォーマンス向上をもたらすことを発見した。 我々は、直接推論と微調整の両方において、事前学習されたモデルの優れた性能を観察する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:13Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• Efficient Long Sequential User Data Modeling for Click-Through Rate Prediction [9.455385139394494]
  本稿では,長期動作シーケンスをモデル化し,優れた性能と優れたコスト効率を実現するエンド・ツー・エンドのパラダイムを提案する。 まず、エンド・ツー・エンドのユーザ行動検索を可能にするために、ETA-Netというハッシュベースの効率的なターゲットアテンション(TA)ネットワークを提案する。 ETA-Netはタオバオのレコメンダシステムに配備されており、SOTAの2段法に比べてCTRが1.8%上昇し、Gross Merchandise Value(GMV)が3.1%上昇した。
  論文  参考訳（メタデータ） (2022-09-25T12:59:57Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• A Unified Cascaded Encoder ASR Model for Dynamic Model Sizes [54.83802872236367]
  本稿では,異なる配置シナリオのモデルを統一した動的カスケードエンコーダ自動音声認識(ASR)モデルを提案する。 提案モデルでは, ベースラインのカスケードエンコーダモデルと比較して30%小さく, 消費電力を33%削減する。 大、中、小のモデルを統一した3つのサイズモデルは、最小品質の損失で37%の総サイズ縮小を達成する。
  論文  参考訳（メタデータ） (2022-04-13T04:15:51Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• Bottleneck Transformers for Visual Recognition [97.16013761605254]
  視覚タスクに自己注意を組み込んだ強力なバックボーンアーキテクチャであるBoTNetを提案する。 我々は、ImageNetベンチマークにおいて84.7%のトップ1の精度で高いパフォーマンスを達成するモデルを提案する。 私たちのシンプルで効果的なアプローチが、将来のビジョンのための自己注意モデル研究の強力なベースラインになることを期待しています。
  論文  参考訳（メタデータ） (2021-01-27T18:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。