論文の概要: CTR-KAN: KAN for Adaptive High-Order Feature Interaction Modeling

• arxiv url: http://arxiv.org/abs/2408.08713v4
• Date: Sat, 25 Jan 2025 03:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:52:52.954278
• Title: CTR-KAN: KAN for Adaptive High-Order Feature Interaction Modeling
• Title（参考訳）: 適応型高次特徴相互作用モデリングのためのCTR-KAN:kan
• Authors: Yunxiao Shi, Wujiang Xu, Haimin Zhang, Qiang Wu, Yongfeng Zhang, Min Xu,
• Abstract要約: CTR-KANは高次特徴相互作用モデリングのための適応的フレームワークである。 これはコルモゴロフ・アルノルドネットワーク(KAN)パラダイムに基づいており、CTR予測タスクの限界に対処している。 CTR-KANは計算コストを大幅に削減して最先端の予測精度を実現する。
• 参考スコア（独自算出の注目度）: 37.80127625183842
• License:
• Abstract: Modeling high-order feature interactions is critical for click-through rate (CTR) prediction, yet traditional approaches often face challenges in balancing predictive accuracy and computational efficiency. These methods typically rely on pre-defined interaction orders, which limit flexibility and require extensive prior knowledge. Moreover, explicitly modeling high-order interactions can lead to significant computational overhead. To tackle these challenges, we propose CTR-KAN, an adaptive framework for efficient high-order feature interaction modeling. CTR-KAN builds upon the Kolmogorov-Arnold Network (KAN) paradigm, addressing its limitations in CTR prediction tasks. Specifically, we introduce key enhancements, including a lightweight architecture that reduces the computational complexity of KAN and supports embedding-based feature representations. Additionally, CTR-KAN integrates guided symbolic regression to effectively capture multiplicative relationships, a known challenge in standard KAN implementations. Extensive experiments demonstrate that CTR-KAN achieves state-of-the-art predictive accuracy with significantly lower computational costs. Its sparse network structure also facilitates feature pruning and enhances global interpretability, making CTR-KAN a powerful tool for efficient inference in real-world CTR prediction scenarios.
• Abstract（参考訳）: 高次機能相互作用のモデル化はクリックスルー率(CTR)の予測には不可欠であるが、従来の手法では予測精度と計算効率のバランスをとることがしばしばである。 これらの手法は通常、柔軟性を制限し、広範な事前知識を必要とする事前定義された相互作用順序に依存する。 さらに、高次相互作用を明示的にモデル化することで、計算オーバーヘッドが大幅に増大する可能性がある。 これらの課題に対処するため,我々は高次特徴相互作用モデリングのための適応フレームワークであるCTR-KANを提案する。 CTR-KANはコルモゴロフ・アルノルドネットワーク(KAN)パラダイムに基づいており、CTR予測タスクの制限に対処している。 具体的には、kanの計算複雑性を低減し、埋め込みベースの特徴表現をサポートする軽量アーキテクチャを含む、重要な拡張を紹介する。 さらに、CTR-KANはガイド付きシンボリックレグレッションを統合し、乗法関係を効果的にキャプチャする。 大規模な実験により、CTR-KANは計算コストを大幅に削減して最先端の予測精度を達成することが示された。 そのスパースネットワーク構造は、機能解析を容易にし、グローバルな解釈可能性を高め、CTR-KANを現実世界のCTR予測シナリオにおける効率的な推論のための強力なツールにする。

関連論文リスト

• Context-Preserving Tensorial Reconfiguration in Large Language Model Training [0.0]
  CPTR(Context-Preservingial Reconfiguration)は、構造的因子化と適応的収縮による重みテンソルの動的複雑さを実現する。 実証的な評価は、CPTRが拡張配列間のコヒーレンス保持を改善することを示している。 性能比較の結果,CPTR強化モデルでは計算効率が向上し,メモリ消費が減少した。
  論文  参考訳（メタデータ） (2025-02-01T00:55:19Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• An accuracy improving method for advertising click through rate prediction based on enhanced xDeepFM model [0.0]
  本稿では,xDeepFMアーキテクチャに基づく改良型CTR予測モデルを提案する。 マルチヘッド・アテンション・メカニズムを統合することで、モデルは機能相互作用の異なる側面に同時に焦点を合わせることができる。 Criteoデータセットの実験結果は、提案モデルが他の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-21T03:21:29Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Dynamic Parameterized Network for CTR Prediction [6.749659219776502]
  我々は、明示的かつ暗黙的な相互作用をインスタンスワイズで学習するために、新しいプラグイン操作であるDynamic ized Operation (DPO)を提案した。 DNNモジュールとアテンションモジュールへのDPOの導入は,クリックスルー率(CTR)予測においてそれぞれ2つの主要なタスクに有効であることを示した。 我々のDynamic ized Networksは、パブリックデータセットと実世界のプロダクションデータセットのオフライン実験において、最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2021-11-09T08:15:03Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Iterative Boosting Deep Neural Networks for Predicting Click-Through Rate [15.90144113403866]
  クリックスルーレート(CTR)は、特定の項目のクリックの比率を、そのビューの総数に反映する。 XdBoostは、従来の機械学習の強化メカニズムの影響を受け、反復的な3段階ニューラルネットワークモデルである。
  論文  参考訳（メタデータ） (2020-07-26T09:41:16Z)
• Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction [64.03526633651218]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。 本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-29T04:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。