論文の概要: Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction

• arxiv url: http://arxiv.org/abs/2408.08713v5
• Date: Fri, 30 May 2025 09:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:33.134843
• Title: Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction
• Title（参考訳）: Beyond Kan: CTR予測における適応的高次特徴相互作用モデリングのためのKarSeinの導入
• Authors: Yunxiao Shi, Wujiang Xu, Haimin Zhang, Qiang Wu, Min Xu,
• Abstract要約: This study introduces Kolmogorov-Arnold Represented Sparse Interaction Network (KarSein)。 KarSeinは、低次の基本的な特徴を高次の特徴相互作用に適応的に変換する。 非常にコンパクトなパラメータサイズと最小の計算オーバーヘッドを維持しながら、例外的な予測精度を達成する。
• 参考スコア（独自算出の注目度）: 14.65809648476631
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modeling high-order feature interactions is crucial for click-through rate (CTR) prediction, and traditional approaches often predefine a maximum interaction order and rely on exhaustive enumeration of feature combinations up to this predefined order. This framework heavily relies on prior domain knowledge to define interaction scope and entails high computational costs from enumeration. Conventional CTR models face a trade-off between improving representation through complex high-order feature interactions and reducing computational inefficiencies associated with these processes. To address this dual challenge, this study introduces the Kolmogorov-Arnold Represented Sparse Efficient Interaction Network (KarSein). Drawing inspiration from the learnable activation mechanism in the Kolmogorov-Arnold Network (KAN), KarSein leverages this mechanism to adaptively transform low-order basic features into high-order feature interactions, offering a novel approach to feature interaction modeling. KarSein extends the capabilities of KAN by introducing a more efficient architecture that significantly reduces computational costs while accommodating two-dimensional embedding vectors as feature inputs. Furthermore, it overcomes the limitation of KAN's its inability to spontaneously capture multiplicative relationships among features. Extensive experiments highlight the superiority of KarSein, demonstrating its ability to surpass not only the vanilla implementation of KAN in CTR predictio but also other baseline methods. Remarkably, KarSein achieves exceptional predictive accuracy while maintaining a highly compact parameter size and minimal computational overhead. As the first attempt to apply KAN in the CTR domain, this work introduces KarSein as a novel solution for modeling complex feature interactions, underscoring its transformative potential in advancing CTR prediction task.
• Abstract（参考訳）: 高次機能間相互作用のモデル化はクリックスルー率(CTR)予測に不可欠であり、従来の手法では最大相互作用順序を事前に定義し、この事前定義された順序まで特徴組合せの包括的列挙に依存することが多い。 このフレームワークは、相互作用の範囲を定義し、列挙から高い計算コストを必要とするように、事前のドメイン知識に大きく依存する。 従来のCTRモデルは、複雑な高次特徴相互作用による表現の改善と、これらのプロセスに関連する計算の非効率さの低減のトレードオフに直面している。 この2つの課題に対処するために、この研究はKolmogorov-Arnold Represented Sparse Efficient Interaction Network (KarSein)を紹介した。 Kolmogorov-Arnold Network (KAN)の学習可能なアクティベーションメカニズムからインスピレーションを得たKarlSeinは、このメカニズムを活用して、低次の基本的な特徴を高次の特徴的相互作用に適応的に変換し、特徴的相互作用モデリングに対する新しいアプローチを提供する。 KarSeinは,2次元埋め込みベクトルを特徴入力として収容しながら計算コストを大幅に削減する,より効率的なアーキテクチャを導入することで,kanの機能を拡張する。 さらに, 特徴間の乗法的関係を自然に捉えないカンの限界を克服する。 大規模な実験はKarSeinの優位性を強調し、CTR予測におけるkanのバニラ実装だけでなく、他のベースライン手法を克服する能力を示している。 注目すべきは、KarSeinは、非常にコンパクトなパラメータサイズと最小の計算オーバーヘッドを維持しながら、例外的な予測精度を達成することである。 CTR領域にKanを適用しようとする最初の試みとして、複雑な特徴相互作用をモデル化するための新しいソリューションとしてKarSeinを導入し、CTR予測タスクの進行における変換ポテンシャルを裏付ける。

関連論文リスト

• Scaled Supervision is an Implicit Lipschitz Regularizer [32.41225209639384]
  ソーシャルメディアでは、レコメンダシステムはクリックスルーレート(CTR)をユーザのエンゲージメントを評価するための標準指標としています。 本稿では,既存のCTRモデルを安定的に最適化し,拡張性の向上を図るため,帯域幅のスケーリングが暗黙のリプシッツ正規化器として機能することを示す。
  論文  参考訳（メタデータ） (2025-03-19T01:01:28Z)
• Context-Preserving Tensorial Reconfiguration in Large Language Model Training [0.0]
  CPTR(Context-Preservingial Reconfiguration)は、構造的因子化と適応的収縮による重みテンソルの動的複雑さを実現する。 実証的な評価は、CPTRが拡張配列間のコヒーレンス保持を改善することを示している。 性能比較の結果,CPTR強化モデルでは計算効率が向上し,メモリ消費が減少した。
  論文  参考訳（メタデータ） (2025-02-01T00:55:19Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• An accuracy improving method for advertising click through rate prediction based on enhanced xDeepFM model [0.0]
  本稿では,xDeepFMアーキテクチャに基づく改良型CTR予測モデルを提案する。 マルチヘッド・アテンション・メカニズムを統合することで、モデルは機能相互作用の異なる側面に同時に焦点を合わせることができる。 Criteoデータセットの実験結果は、提案モデルが他の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-21T03:21:29Z)
• NeSHFS: Neighborhood Search with Heuristic-based Feature Selection for Click-Through Rate Prediction [1.3805049652130312]
  クリックスルーレート(CTR)予測は、オンライン広告や広告推薦システムにおいて重要な役割を果たす。 我々は、CTR予測性能を向上させるために、Neighborhood Search with Heuristic-based Feature Selection (NeSHFS)というCTRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-13T10:43:18Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction [22.96768147978534]
  本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための階層型ランキングアーキテクチャCascaderを提案する。 CascadER は LM を用いて、より効率的な KGE の出力を再現し、KGE の精度向上を最大化しつつ、LM を最小限に呼び出すための適応的なサブセット選択方式に依存している。 実験により, モデル間の多様性と個々のモデルの信頼性信号の保存がカスケーダの有効性を説明するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T22:55:45Z)
• Dynamic Parameterized Network for CTR Prediction [6.749659219776502]
  我々は、明示的かつ暗黙的な相互作用をインスタンスワイズで学習するために、新しいプラグイン操作であるDynamic ized Operation (DPO)を提案した。 DNNモジュールとアテンションモジュールへのDPOの導入は,クリックスルー率(CTR)予測においてそれぞれ2つの主要なタスクに有効であることを示した。 我々のDynamic ized Networksは、パブリックデータセットと実世界のプロダクションデータセットのオフライン実験において、最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2021-11-09T08:15:03Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction [11.958336595818267]
  Attentive DenseNet based Factorization Machines (AdnFM) と呼ばれる新しいモデルを提案する。 AdnFMはフィードフォワードニューラルネットワークから隠されたすべての層を暗黙の高次の特徴として使用することにより、より包括的な深い特徴を抽出することができる。 2つの実世界のデータセットにおける実験により、提案モデルがクリックスルーレート予測の性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2020-12-20T01:00:39Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction [64.03526633651218]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。 本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-29T04:33:01Z)
• SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
  本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。 我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。