論文の概要: Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method

• arxiv url: http://arxiv.org/abs/2408.11345v4
• Date: Wed, 09 Oct 2024 08:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 17:22:17.991245
• Title: Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method
• Title（参考訳）: 効率的なレコメンデーションのための深い木に基づくレトリバーの学習:理論と方法
• Authors: Ze Liu, Jin Zhang, Chao Feng, Defu Lian, Jie Wang, Enhong Chen,
• Abstract要約: 効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
• 参考スコア（独自算出の注目度）: 76.31185707649227
• License:
• Abstract: Although advancements in deep learning have significantly enhanced the recommendation accuracy of deep recommendation models, these methods still suffer from low recommendation efficiency. Recently proposed tree-based deep recommendation models alleviate the problem by directly learning tree structure and representations under the guidance of recommendation objectives. To guarantee the effectiveness of beam search for recommendation accuracy, these models strive to ensure that the tree adheres to the max-heap assumption, where a parent node's preference should be the maximum among its children's preferences. However, they employ a one-versus-all strategy, framing the training task as a series of independent binary classification objectives for each node, which limits their ability to fully satisfy the max-heap assumption. To this end, we propose a Deep Tree-based Retriever (DTR for short) for efficient recommendation. DTR frames the training task as a softmax-based multi-class classification over tree nodes at the same level, enabling explicit horizontal competition and more discriminative top-k selection among them, which mimics the beam search behavior during training. To mitigate the suboptimality induced by the labeling of non-leaf nodes, we propose a rectification method for the loss function, which further aligns with the max-heap assumption in expectation. As the number of tree nodes grows exponentially with the levels, we employ sampled softmax to approximate optimization and thereby enhance efficiency. Furthermore, we propose a tree-based sampling method to reduce the bias inherent in sampled softmax. Theoretical results reveal DTR's generalization capability, and both the rectification method and tree-based sampling contribute to improved generalization. The experiments are conducted on four real-world datasets, validating the effectiveness of the proposed method.
• Abstract（参考訳）: 深層学習の進歩は、深層推薦モデルの推薦精度を大幅に向上させたが、これらの手法は依然として推奨効率の低下に悩まされている。 近年,木構造や表現を直接学習することで,推薦対象の指導の下で問題を緩和する手法が提案されている。 推奨精度のビームサーチの有効性を保証するため,これらのモデルでは,親ノードの選好が子どもの選好の中で最大となる最大値の仮定に従うように努力する。 しかし、彼らは一対一の戦略を採用し、トレーニングタスクを各ノードの独立したバイナリ分類対象としてフレーミングし、最大ヒープの仮定を完全に満たす能力を制限する。 そこで本研究では,効率的なレコメンデーションのためのDeep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、木ノード上のソフトマックスベースのマルチクラス分類として同一レベルに設定し、明示的な水平競争と、トレーニング中のビームサーチ動作を模倣した差別的なトップk選択を可能にする。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。 木ノードの数がレベルとともに指数関数的に増加するにつれて、最適化を近似し、効率を高めるためにサンプルソフトマックスを用いる。 さらに,サンプルソフトマックスに固有のバイアスを低減するため,木に基づくサンプリング手法を提案する。 理論的には、DTRの一般化能力が明らかとなり、修正法と木に基づくサンプリングの両方が一般化の改善に寄与する。 提案手法の有効性を検証するために,実世界の4つのデータセットを用いて実験を行った。

関連論文リスト

• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks [58.469818546042696]
  我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。 ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
  論文  参考訳（メタデータ） (2023-10-16T16:27:06Z)
• bsnsing: A decision tree induction method based on recursive optimal boolean rule composition [2.28438857884398]
  本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。 商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
  論文  参考訳（メタデータ） (2022-05-30T17:13:57Z)
• Robust Optimal Classification Trees Against Adversarial Examples [5.254093731341154]
  本稿では,ユーザが特定した攻撃モデルに対して最適に堅牢な決定木を訓練する手法の集合を提案する。 逆学習において生じるmin-max最適化問題は、単一最小化定式化を用いて解くことができることを示す。 また,両部マッチングを用いた任意のモデルに対して,上界の対角精度を決定する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:10:49Z)
• Strong Optimal Classification Trees [8.10995244893652]
  最適二分分類木を学習するための直感的なフローベースMIO定式化を提案する。 我々の定式化は、解釈可能かつ公平な決定木の設計を可能にするために、サイド制約を満たすことができる。 提案手法は最先端MIO技術よりも29倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-03-29T21:40:58Z)
• Optimal Decision Trees for Nonlinear Metrics [42.18286681448184]
  本稿では,非線形メトリクスに対して最適な木を生成するための新しいアルゴリズムを提案する。 我々の知る限りでは、これは非線形メトリクスに対して証明可能な最適決定木を計算するための最初の方法である。 当社のアプローチは、線形メトリクスの最適化と比較した場合、トレードオフにつながります。
  論文  参考訳（メタデータ） (2020-09-15T08:30:56Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。