論文の概要: FCN: Fusing Exponential and Linear Cross Network for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2407.13349v7
• Date: Sat, 05 Apr 2025 07:06:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 13:32:42.145754
• Title: FCN: Fusing Exponential and Linear Cross Network for Click-Through Rate Prediction
• Title（参考訳）: FCN:クリックスルーレート予測のためのFusing Exponential and Linear Cross Network
• Authors: Honghao Li, Yiwen Zhang, Yi Zhang, Hanwei Li, Lei Sang, Jieming Zhu,
• Abstract要約: 本稿では,Linear Cross Network (LCN) とExponential Cross Network (ECN) の2つのサブネットワークとともに,Fusing Cross Network (FCN) と呼ばれる新しいモデルを提案する。 FCNは、線形成長と指数成長の両方の機能的相互作用を明示的に捉え、暗黙のDNNに依存する必要をなくす。 6つのベンチマークデータセット上で,FCNの有効性,効率,解釈性を評価する。
• 参考スコア（独自算出の注目度）: 17.19859591493946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an important modeling paradigm in click-through rate (CTR) prediction, the Deep & Cross Network (DCN) and its derivative models have gained widespread recognition primarily due to their success in a trade-off between computational cost and performance. This paradigm employs a cross network to explicitly model feature interactions with linear growth, while leveraging deep neural networks (DNN) to implicitly capture higher-order feature interactions. However, these models still face several key limitations: (1) The performance of existing explicit feature interaction methods lags behind that of implicit DNN, resulting in overall model performance being dominated by the DNN; (2) While these models claim to capture high-order feature interactions, they often overlook potential noise within these interactions; (3) The learning process for different interaction network branches lacks appropriate supervision signals; and (4) The high-order feature interactions captured by these models are often implicit and non-interpretable due to their reliance on DNN. To address the identified limitations, this paper proposes a novel model, called Fusing Cross Network (FCN), along with two sub-networks: Linear Cross Network (LCN) and Exponential Cross Network (ECN). FCN explicitly captures feature interactions with both linear and exponential growth, eliminating the need to rely on implicit DNN. Moreover, we introduce the Self-Mask operation to filter noise layer by layer and reduce the number of parameters in the cross network by half. To effectively train these two cross networks, we propose a simple yet effective loss function called Tri-BCE, which provides tailored supervision signals for each network. We evaluate the effectiveness, efficiency, and interpretability of FCN on six benchmark datasets. Furthermore, by integrating LCN and ECN, FCN achieves a new state-of-the-art performance.
• Abstract（参考訳）: クリックスルーレート(CTR)予測における重要なモデリングパラダイムとして、ディープ・アンド・クロス・ネットワーク(DCN)とその派生モデルは、主に計算コストと性能のトレードオフの成功により広く認知されている。 このパラダイムでは、クロスネットワークを使用して、線形成長を伴う機能インタラクションを明示的にモデル化するとともに、ディープニューラルネットワーク(DNN)を活用して、高次の機能インタラクションを暗黙的にキャプチャする。 1) 既存の明示的な特徴相互作用手法の性能は暗黙的なDNNよりも遅れており、結果として全体のモデル性能はDNNに支配されている、(2) それらのモデルは高次特徴相互作用を捉えていると主張しているが、これらの相互作用の潜在的なノイズをしばしば見落としている、(3) 異なる相互作用ネットワークのブランチの学習プロセスには適切な監視信号が欠けている、(4) それらのモデルによって捕捉される高次特徴相互作用は、しばしばDNNに依存しているため暗黙的で非解釈可能である。 そこで本研究では,Fusing Cross Network (FCN) と呼ばれる新しいモデルと,Linear Cross Network (LCN) とExponential Cross Network (ECN) の2つのサブネットワークを提案する。 FCNは、線形成長と指数成長の両方の機能的相互作用を明示的に捉え、暗黙のDNNに依存する必要をなくす。 さらに、ノイズ層を層単位でフィルタし、クロスネットワークにおけるパラメータの数を半減するセルフマスク演算を導入する。 これら2つのクロスネットワークを効果的に訓練するために,Tri-BCEと呼ばれる単純な損失関数を提案する。 6つのベンチマークデータセット上で,FCNの有効性,効率,解釈性を評価する。 さらに、LCNとECNを統合することにより、FCNは新たな最先端性能を実現する。

関連論文リスト

• Efficient Federated Learning Tiny Language Models for Mobile Network Feature Prediction [13.32608465848856]
  通信において、自律ネットワーク(AN)は、特定の要求(例えば、帯域幅、利用可能なリソース)に基づいて構成を自動的に調整する。 ここでは、フェデレートラーニング(FL)により、複数のANセル — それぞれニューラルネットワーク(NN)を備えた — が、データのプライバシを保持しながら、モデルを協調的にトレーニングすることが可能になる。 小型言語モデル(TLM)を統合する新しいFLフレームワークにおいて,ISO/IECニューラルネットワーク符号化(NNC)標準の実装であるNNCodecについて検討する。 ベルリンのV2Xデータセットを用いた実験の結果,NNCodecは透過的な圧縮を実現し,通信オーバーヘッドを1%以下に抑えることができた。
  論文  参考訳（メタデータ） (2025-04-02T17:54:06Z)
• Exploring Neural Network Pruning with Screening Methods [3.443622476405787]
  現代のディープラーニングモデルは数千万のパラメータを持ち、推論プロセスはリソース集約化されている。 本稿では,非必須パラメータを除去するネットワーク・プルーニング・フレームワークの提案と評価を行う。 提案するフレームワークは,従来のネットワークと比較して,競争力のあるリーンネットワークを生成する。
  論文  参考訳（メタデータ） (2025-02-11T02:31:04Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
  本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。 従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
  論文  参考訳（メタデータ） (2024-10-22T15:49:53Z)
• 4D ASR: Joint Beam Search Integrating CTC, Attention, Transducer, and Mask Predict Decoders [53.297697898510194]
  我々は、4つのデコーダが同一のエンコーダを共有する共同モデリング手法を提案し、これを4Dモデリングと呼ぶ。 4Dモデルを効率的に訓練するために,マルチタスク学習を安定化させる2段階のトレーニング戦略を導入する。 さらに,3つのデコーダを組み合わせることで,新しい1パスビーム探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-05T05:18:20Z)
• BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
  既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
  論文  参考訳（メタデータ） (2024-05-27T10:44:05Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Graph Neural Networks for Power Allocation in Wireless Networks with Full Duplex Nodes [10.150768420975155]
  ユーザ間の相互干渉のため、無線ネットワークにおける電力割り当て問題はしばしば自明ではない。 グラフグラフニューラルネットワーク(GNN)は、これらの問題に対処するための有望なアプローチとして最近登場し、無線ネットワークの基盤となるトポロジを活用するアプローチである。
  論文  参考訳（メタデータ） (2023-03-27T10:59:09Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation [26.94528951545861]
  時間的畳み込みネットワーク(TCN)における標準深度分割畳み込みを置き換えるため、重み付き多重ディレーション深度分離畳み込みを提案する。 この重み付き多重拡散時間畳み込みネットワーク(WD-TCN)は、様々なモデル構成において、TCNを一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-17T15:56:31Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Sequence-to-Sequence Load Disaggregation Using Multi-Scale Residual Neural Network [4.094944573107066]
  非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、電力をモニタするコスト効率の高い方法として、ますます注目されている。 ディープニューラルネットワークは、負荷分散の分野で大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-09-25T17:41:28Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• DiffRNN: Differential Verification of Recurrent Neural Networks [3.4423518864863154]
  リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。 構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。 各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-20T14:14:35Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving [15.637357991632241]
  クリックスルー率(CTR)予測は、オンラインディスプレイ広告において重要な課題である。 埋め込みベースのニューラルネットワークは、両方の明示的な特徴相互作用を学ぶために提案されている。 しかし、これらの洗練されたモデルは、予測を少なくとも何百回も遅くする。
  論文  参考訳（メタデータ） (2020-02-17T14:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。