論文の概要: CTR-KAN: KAN for Adaptive High-Order Feature Interaction Modeling

• arxiv url: http://arxiv.org/abs/2408.08713v4
• Date: Sat, 25 Jan 2025 03:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:52:52.954278
• Title: CTR-KAN: KAN for Adaptive High-Order Feature Interaction Modeling
• Title（参考訳）: 適応型高次特徴相互作用モデリングのためのCTR-KAN:kan
• Authors: Yunxiao Shi, Wujiang Xu, Haimin Zhang, Qiang Wu, Yongfeng Zhang, Min Xu,
• Abstract要約: CTR-KANは高次特徴相互作用モデリングのための適応的フレームワークである。 これはコルモゴロフ・アルノルドネットワーク(KAN)パラダイムに基づいており、CTR予測タスクの限界に対処している。 CTR-KANは計算コストを大幅に削減して最先端の予測精度を実現する。
• 参考スコア（独自算出の注目度）: 37.80127625183842
• License:
• Abstract: Modeling high-order feature interactions is critical for click-through rate (CTR) prediction, yet traditional approaches often face challenges in balancing predictive accuracy and computational efficiency. These methods typically rely on pre-defined interaction orders, which limit flexibility and require extensive prior knowledge. Moreover, explicitly modeling high-order interactions can lead to significant computational overhead. To tackle these challenges, we propose CTR-KAN, an adaptive framework for efficient high-order feature interaction modeling. CTR-KAN builds upon the Kolmogorov-Arnold Network (KAN) paradigm, addressing its limitations in CTR prediction tasks. Specifically, we introduce key enhancements, including a lightweight architecture that reduces the computational complexity of KAN and supports embedding-based feature representations. Additionally, CTR-KAN integrates guided symbolic regression to effectively capture multiplicative relationships, a known challenge in standard KAN implementations. Extensive experiments demonstrate that CTR-KAN achieves state-of-the-art predictive accuracy with significantly lower computational costs. Its sparse network structure also facilitates feature pruning and enhances global interpretability, making CTR-KAN a powerful tool for efficient inference in real-world CTR prediction scenarios.
• Abstract（参考訳）: 高次機能相互作用のモデル化はクリックスルー率(CTR)の予測には不可欠であるが、従来の手法では予測精度と計算効率のバランスをとることがしばしばである。 これらの手法は通常、柔軟性を制限し、広範な事前知識を必要とする事前定義された相互作用順序に依存する。 さらに、高次相互作用を明示的にモデル化することで、計算オーバーヘッドが大幅に増大する可能性がある。 これらの課題に対処するため,我々は高次特徴相互作用モデリングのための適応フレームワークであるCTR-KANを提案する。 CTR-KANはコルモゴロフ・アルノルドネットワーク(KAN)パラダイムに基づいており、CTR予測タスクの制限に対処している。 具体的には、kanの計算複雑性を低減し、埋め込みベースの特徴表現をサポートする軽量アーキテクチャを含む、重要な拡張を紹介する。 さらに、CTR-KANはガイド付きシンボリックレグレッションを統合し、乗法関係を効果的にキャプチャする。 大規模な実験により、CTR-KANは計算コストを大幅に削減して最先端の予測精度を達成することが示された。 そのスパースネットワーク構造は、機能解析を容易にし、グローバルな解釈可能性を高め、CTR-KANを現実世界のCTR予測シナリオにおける効率的な推論のための強力なツールにする。

関連論文リスト

• NeSHFS: Neighborhood Search with Heuristic-based Feature Selection for Click-Through Rate Prediction [1.3805049652130312]
  クリックスルーレート(CTR)予測は、オンライン広告や広告推薦システムにおいて重要な役割を果たす。 我々は、CTR予測性能を向上させるために、Neighborhood Search with Heuristic-based Feature Selection (NeSHFS)というCTRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-13T10:43:18Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction [22.96768147978534]
  本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための階層型ランキングアーキテクチャCascaderを提案する。 CascadER は LM を用いて、より効率的な KGE の出力を再現し、KGE の精度向上を最大化しつつ、LM を最小限に呼び出すための適応的なサブセット選択方式に依存している。 実験により, モデル間の多様性と個々のモデルの信頼性信号の保存がカスケーダの有効性を説明するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T22:55:45Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction [11.958336595818267]
  Attentive DenseNet based Factorization Machines (AdnFM) と呼ばれる新しいモデルを提案する。 AdnFMはフィードフォワードニューラルネットワークから隠されたすべての層を暗黙の高次の特徴として使用することにより、より包括的な深い特徴を抽出することができる。 2つの実世界のデータセットにおける実験により、提案モデルがクリックスルーレート予測の性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2020-12-20T01:00:39Z)
• SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
  本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。 我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。