論文の概要: Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction

• arxiv url: http://arxiv.org/abs/2408.08713v3
• Date: Sun, 29 Dec 2024 01:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 22:07:02.298175
• Title: Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction
• Title（参考訳）: Beyond Kan: CTR予測における適応的高次特徴相互作用モデリングのためのKarSeinの導入
• Authors: Yunxiao Shi, Wujiang Xu, Haimin Zhang, Qiang Wu, Yongfeng Zhang, Min Xu,
• Abstract要約: Kolmogorov-Arnold Represented Sparse Interaction Network (KarSein)を紹介する。 KarSeinは予測精度と計算効率の両方を最適化するように設計されている。 計算オーバーヘッドを最小限に抑えて、かなりの予測精度を達成する。
• 参考スコア（独自算出の注目度）: 37.80127625183842
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modeling feature interactions is crucial for click-through rate (CTR) prediction, particularly when it comes to high-order explicit interactions. Traditional methods struggle with this task because they often predefine a maximum interaction order, which relies heavily on prior knowledge and can limit the model's effectiveness. Additionally, modeling high-order interactions typically leads to increased computational costs. Therefore, the challenge lies in adaptively modeling high-order feature interactions while maintaining efficiency. To address this issue, we introduce Kolmogorov-Arnold Represented Sparse Efficient Interaction Network (KarSein), designed to optimize both predictive accuracy and computational efficiency. We firstly identify limitations of directly applying Kolmogorov-Arnold Networks (KAN) to CTR and then introduce KarSein to overcome these issues. It features a novel architecture that reduces the computational costs of KAN and supports embedding vectors as feature inputs. Additionally, KarSein employs guided symbolic regression to address the challenge of KAN in spontaneously learning multiplicative relationships. Extensive experiments demonstrate KarSein's superior performance, achieving significant predictive accuracy with minimal computational overhead. Furthermore, KarSein maintains strong global explainability while enabling the removal of redundant features, resulting in a sparse network structure. These advantages also position KarSein as a promising method for efficient inference.
• Abstract（参考訳）: 特徴的相互作用のモデル化はクリックスルー率(CTR)予測に不可欠である。 従来の手法は、しばしば、事前知識に大きく依存し、モデルの有効性を制限できる最大限の相互作用順序を事前に定義するため、このタスクに苦労する。 さらに、高次相互作用のモデリングは一般的に計算コストの増大につながる。 したがって、効率を保ちながら高次特徴相互作用を適応的にモデル化することが課題である。 この問題に対処するために,予測精度と計算効率の両方を最適化するために設計されたKarSein(Kolmogorov-Arnold Represented Sparse Efficient Interaction Network)を導入する。 まず,CTRにKANを直接適用することの限界を特定し,これらの問題を克服するためにKarSeinを導入する。 これはkanの計算コストを削減し、特徴入力として埋め込みベクトルをサポートする新しいアーキテクチャである。 さらに、KarSeinは、自然に乗法関係を学習するカンの課題に対処するために、ガイド付き記号レグレッションを採用している。 大規模な実験はKarlSeinの優れた性能を示し、計算オーバーヘッドを最小限に抑えて予測精度を著しく向上させる。 さらに、KarSeinは、冗長な機能の削除を可能にしながら、強力なグローバルな説明可能性を維持し、その結果、疎結合なネットワーク構造となる。 これらの利点は、KarSeinを効率的な推論の有望な方法として位置づけている。

関連論文リスト

• Mitigating Attention Hacking in Preference-Based Reward Modeling via Interaction Distillation [40.79564929465515]
  インタラクション蒸留(Interaction Distillation)は、注意レベル最適化によるより適切な嗜好モデリングのための新しいトレーニングフレームワークである。 最先端のRM最適化法と比較して、より安定で一般化可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2025-08-04T17:06:23Z)
• DLF: Enhancing Explicit-Implicit Interaction via Dynamic Low-Order-Aware Fusion for CTR Prediction [71.41414150295702]
  本稿では,クリックスルー率(CTR)予測をモデル化するための新しいフレームワークである動的低次認識融合(DLF)を提案する。 RLIは残差接続からの冗長性を緩和しながら低次信号を保持し、NAFは各層での明示的および暗黙的な表現を動的に統合し、情報共有を強化する。 公開データセットの実験では、DLFがCTR予測における最先端のパフォーマンスを達成し、既存のモデルの重要な制限に対処していることが示されている。
  論文  参考訳（メタデータ） (2025-05-25T15:05:00Z)
• Scaled Supervision is an Implicit Lipschitz Regularizer [32.41225209639384]
  ソーシャルメディアでは、レコメンダシステムはクリックスルーレート(CTR)をユーザのエンゲージメントを評価するための標準指標としています。 本稿では,既存のCTRモデルを安定的に最適化し,拡張性の向上を図るため,帯域幅のスケーリングが暗黙のリプシッツ正規化器として機能することを示す。
  論文  参考訳（メタデータ） (2025-03-19T01:01:28Z)
• Context-Preserving Tensorial Reconfiguration in Large Language Model Training [0.0]
  CPTR(Context-Preservingial Reconfiguration)は、構造的因子化と適応的収縮による重みテンソルの動的複雑さを実現する。 実証的な評価は、CPTRが拡張配列間のコヒーレンス保持を改善することを示している。 性能比較の結果,CPTR強化モデルでは計算効率が向上し,メモリ消費が減少した。
  論文  参考訳（メタデータ） (2025-02-01T00:55:19Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• An accuracy improving method for advertising click through rate prediction based on enhanced xDeepFM model [0.0]
  本稿では,xDeepFMアーキテクチャに基づく改良型CTR予測モデルを提案する。 マルチヘッド・アテンション・メカニズムを統合することで、モデルは機能相互作用の異なる側面に同時に焦点を合わせることができる。 Criteoデータセットの実験結果は、提案モデルが他の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-21T03:21:29Z)
• NeSHFS: Neighborhood Search with Heuristic-based Feature Selection for Click-Through Rate Prediction [1.3805049652130312]
  クリックスルーレート(CTR)予測は、オンライン広告や広告推薦システムにおいて重要な役割を果たす。 我々は、CTR予測性能を向上させるために、Neighborhood Search with Heuristic-based Feature Selection (NeSHFS)というCTRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-13T10:43:18Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• A Click-Through Rate Prediction Method Based on Cross-Importance of Multi-Order Features [4.820576346277399]
  本稿では,FiiNet (Multiple Order Feature Interaction Importance Neural Networks) という新しいモデルを提案する。 モデルはまず選択的なカーネルネットワーク(SKNet)を使用して、マルチオーダーの機能クロスを明示的に構築する。 機能相互作用の組み合わせの重要性をきめ細かな方法で動的に学習する。
  論文  参考訳（メタデータ） (2024-05-14T16:05:57Z)
• Collaborative Filtering Based on Diffusion Models: Unveiling the Potential of High-Order Connectivity [10.683635786183894]
  CF-Diffは新しい拡散モデルに基づく協調フィルタリング手法である。 マルチホップの隣人と一緒に、協調的な信号を完全に活用することができる。 最高の競争相手に比べて7.29%も上昇している。
  論文  参考訳（メタデータ） (2024-04-22T14:49:46Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint Multi-Agent Trajectory Prediction [73.25645602768158]
  IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。 我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
  論文  参考訳（メタデータ） (2023-03-01T15:16:56Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction [22.96768147978534]
  本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための階層型ランキングアーキテクチャCascaderを提案する。 CascadER は LM を用いて、より効率的な KGE の出力を再現し、KGE の精度向上を最大化しつつ、LM を最小限に呼び出すための適応的なサブセット選択方式に依存している。 実験により, モデル間の多様性と個々のモデルの信頼性信号の保存がカスケーダの有効性を説明するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T22:55:45Z)
• Dynamic Parameterized Network for CTR Prediction [6.749659219776502]
  我々は、明示的かつ暗黙的な相互作用をインスタンスワイズで学習するために、新しいプラグイン操作であるDynamic ized Operation (DPO)を提案した。 DNNモジュールとアテンションモジュールへのDPOの導入は,クリックスルー率(CTR)予測においてそれぞれ2つの主要なタスクに有効であることを示した。 我々のDynamic ized Networksは、パブリックデータセットと実世界のプロダクションデータセットのオフライン実験において、最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2021-11-09T08:15:03Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction [11.958336595818267]
  Attentive DenseNet based Factorization Machines (AdnFM) と呼ばれる新しいモデルを提案する。 AdnFMはフィードフォワードニューラルネットワークから隠されたすべての層を暗黙の高次の特徴として使用することにより、より包括的な深い特徴を抽出することができる。 2つの実世界のデータセットにおける実験により、提案モデルがクリックスルーレート予測の性能を効果的に向上できることが示されている。
  論文  参考訳（メタデータ） (2020-12-20T01:00:39Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction [64.03526633651218]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。 本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-29T04:33:01Z)
• Feature Interaction based Neural Network for Click-Through Rate Prediction [5.095988654970358]
  本稿では,3次元関係テンソルを用いて特徴相互作用をモデル化可能な特徴相互作用ベースニューラルネットワーク(FINN)を提案する。 我々のディープFINNモデルは、PNNやDeepFMのような最先端のディープモデルよりも優れていることを示す。 また、我々のモデルは、機能相互作用を効果的に学習し、実世界のデータセットでより良いパフォーマンスを達成することができることを示している。
  論文  参考訳（メタデータ） (2020-06-07T03:53:24Z)
• SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
  本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。 我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2020-03-22T07:58:44Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。