論文の概要: Revisiting Feature Interactions from the Perspective of Quadratic Neural Networks for Click-through Rate Prediction

• arxiv url: http://arxiv.org/abs/2505.17999v1
• Date: Fri, 23 May 2025 15:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.17755
• Title: Revisiting Feature Interactions from the Perspective of Quadratic Neural Networks for Click-through Rate Prediction
• Title（参考訳）: クリックスルー速度予測のための2次ニューラルネットワークの観点からの機能相互作用の再検討
• Authors: Honghao Li, Yiwen Zhang, Yi Zhang, Lei Sang, Jieming Zhu,
• Abstract要約: 二次ニューラルネットワーク(QNN)の観点からアダマール製品(HP)を再考する 我々は,QNNが機能空間を拡大し,活性化関数に頼らずにスムーズな非線形近似を提供する能力を明らかにする。 本稿では,CTR予測タスクに適した新しいニューロン形式QNN-alphaを提案する。
• 参考スコア（独自算出の注目度）: 18.22390433596264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hadamard Product (HP) has long been a cornerstone in click-through rate (CTR) prediction tasks due to its simplicity, effectiveness, and ability to capture feature interactions without additional parameters. However, the underlying reasons for its effectiveness remain unclear. In this paper, we revisit HP from the perspective of Quadratic Neural Networks (QNN), which leverage quadratic interaction terms to model complex feature relationships. We further reveal QNN's ability to expand the feature space and provide smooth nonlinear approximations without relying on activation functions. Meanwhile, we find that traditional post-activation does not further improve the performance of the QNN. Instead, mid-activation is a more suitable alternative. Through theoretical analysis and empirical evaluation of 25 QNN neuron formats, we identify a good-performing variant and make further enhancements on it. Specifically, we propose the Multi-Head Khatri-Rao Product as a superior alternative to HP and a Self-Ensemble Loss with dynamic ensemble capability within the same network to enhance computational efficiency and performance. Ultimately, we propose a novel neuron format, QNN-alpha, which is tailored for CTR prediction tasks. Experimental results show that QNN-alpha achieves new state-of-the-art performance on six public datasets while maintaining low inference latency, good scalability, and excellent compatibility. The code, running logs, and detailed hyperparameter configurations are available at: https://github.com/salmon1802/QNN.
• Abstract（参考訳）: Hadamard Product (HP) は、クリックスルー率(CTR)予測タスクにおいて、その単純さ、有効性、および追加パラメータなしで特徴的インタラクションをキャプチャする能力のために、長い間、基盤となっている。 しかし、その効果の根本原因は不明である。 本稿では,2次相互作用項を利用して複雑な特徴関係をモデル化する4次ニューラルネットワーク(QNN)の観点から,HPを再考する。 さらに,QNNが特徴空間を拡大し,活性化関数に頼らずにスムーズな非線形近似を提供する能力を明らかにした。 一方,従来のポストアクティベーションではQNNの性能は向上しない。 代わりに、ミッドアクティベーションの方がより適している。 25個のQNNニューロンの理論的解析と経験的評価により、良好な性能の変異を同定し、さらに拡張する。 具体的には,HPの優れた代替品としてマルチヘッド・カトリ・ラオ製品と,ネットワーク内の動的アンサンブル機能を備えたセルフアンサンブル・ロスを提案し,計算効率と性能を向上させる。 最終的に、我々はCTR予測タスクに適した新しいニューロン形式QNN-alphaを提案する。 実験結果から,QNN-alphaは6つの公開データセット上で,低推論レイテンシ,優れたスケーラビリティ,優れた互換性を維持しながら,新たな最先端性能を実現することが示された。 コード、ログの実行、詳細なハイパーパラメータ設定は、https://github.com/salmon1802/QNNで確認できる。

関連論文リスト

• QP-SNN: Quantized and Pruned Spiking Neural Networks [10.74122828236122]
  スパイキングニューラルネットワーク(SNN)はスパイクを利用して情報をエンコードし、イベント駆動方式で運用する。 資源限定シナリオにおいて,高性能なSNNを効果的に展開することを目的とした,ハードウェアフレンドリで軽量なSNNを提案する。
  論文  参考訳（メタデータ） (2025-02-09T13:50:59Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
  スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。 シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。 本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:23:26Z)
• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Feature Interaction based Neural Network for Click-Through Rate Prediction [5.095988654970358]
  本稿では,3次元関係テンソルを用いて特徴相互作用をモデル化可能な特徴相互作用ベースニューラルネットワーク(FINN)を提案する。 我々のディープFINNモデルは、PNNやDeepFMのような最先端のディープモデルよりも優れていることを示す。 また、我々のモデルは、機能相互作用を効果的に学習し、実世界のデータセットでより良いパフォーマンスを達成することができることを示している。
  論文  参考訳（メタデータ） (2020-06-07T03:53:24Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。