論文の概要: Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems

• arxiv url: http://arxiv.org/abs/2310.10462v1
• Date: Mon, 16 Oct 2023 14:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 13:46:29.338773
• Title: Adaptive Neural Ranking Framework: Toward Maximized Business Goal for Cascade Ranking Systems
• Title（参考訳）: adaptive neural ranking framework: カスケードランキングシステムにおけるビジネス目標の最大化に向けて
• Authors: Yunli Wang, Zhiqiang Wang, Jian Yang, Shiyang Wen, Dongying Kong, Han Li, Kun Gai
• Abstract要約: カスケードランキングは、オンライン広告とレコメンデーションシステムにおける大規模なトップk選択問題に広く使われている。 それまでの学習からランクへの取り組みは、モデルに完全な順序を学習させたり、上位の素材の順序にもっと注意を払ってもらうことに集中していた。 本稿では,データ複雑度とモデル機能に対する最適化対象の適応性を強調することにより,カスケードランキングシステムの最適化に向けた新たな視点を提案する。
• 参考スコア（独自算出の注目度）: 33.46891569350896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cascade ranking is widely used for large-scale top-k selection problems in online advertising and recommendation systems, and learning-to-rank is an important way to optimize the models in cascade ranking systems. Previous works on learning-to-rank usually focus on letting the model learn the complete order or pay more attention to the order of top materials, and adopt the corresponding rank metrics as optimization targets. However, these optimization targets can not adapt to various cascade ranking scenarios with varying data complexities and model capabilities; and the existing metric-driven methods such as the Lambda framework can only optimize a rough upper bound of the metric, potentially resulting in performance misalignment. To address these issues, we first propose a novel perspective on optimizing cascade ranking systems by highlighting the adaptability of optimization targets to data complexities and model capabilities. Concretely, we employ multi-task learning framework to adaptively combine the optimization of relaxed and full targets, which refers to metrics Recall@m@k and OAP respectively. Then we introduce a permutation matrix to represent the rank metrics and employ differentiable sorting techniques to obtain a relaxed permutation matrix with controllable approximate error bound. This enables us to optimize both the relaxed and full targets directly and more appropriately using the proposed surrogate losses within the deep learning framework. We named this method as Adaptive Neural Ranking Framework. We use the NeuralSort method to obtain the relaxed permutation matrix and draw on the uncertainty weight method in multi-task learning to optimize the proposed losses jointly. Experiments on a total of 4 public and industrial benchmarks show the effectiveness and generalization of our method, and online experiment shows that our method has significant application value.
• Abstract（参考訳）: カスケードランキングは、オンライン広告やレコメンデーションシステムにおける大規模トップk選択問題に広く使われており、カスケードランキングシステムにおけるモデルの最適化には学習からランクまでが重要な方法である。 それまでの学習-ランクに関する作業は、モデルに完全な順序を学習させたり、上位材料の順序にもっと注意を払ってもらうことに集中し、対応するランクメトリクスを最適化ターゲットとして採用する。 しかし、これらの最適化ターゲットは、データ複雑度やモデル能力の異なる様々なカスケードランキングシナリオに適応できない。また、ラムダフレームワークのような既存のメトリック駆動型メソッドは、メトリックの粗い上限のみを最適化することができ、パフォーマンス上の不一致をもたらす可能性がある。 これらの問題に対処するため,我々はまず,データ複雑度やモデル能力に対する最適化対象の適応性を強調することで,カスケードランキングシステムを最適化する新しい視点を提案する。 具体的には,Recall@m@k と OAP のメトリクスを参照して,緩和目標と全目標の最適化を適応的に組み合わせるためにマルチタスク学習フレームワークを用いる。 次に、ランクメトリクスを表す置換行列を導入し、微分可能なソート手法を用いて、制御可能な近似誤差境界を持つ緩和置換行列を得る。 これにより、ディープラーニングフレームワーク内で提案されたサロゲート損失を利用して、緩和されたターゲットと完全なターゲットの両方を直接的かつ適切に最適化することができる。 この手法を適応型ニューラルネットワークランキングフレームワークと命名した。 我々はNeuralSort法を用いて、緩和された置換行列を求め、マルチタスク学習における不確実性重み付け法を用いて、提案した損失を共同で最適化する。 4つの公開および産業ベンチマーク実験により,本手法の有効性と一般化が示され,オンライン実験により,本手法の応用価値が著しく高いことが示された。

関連論文リスト

• Ordinal Preference Optimization: Aligning Human Preferences via NDCG [28.745322441961438]
  我々は、NDCGを異なる代理損失で近似することで、エンドツーエンドの選好最適化アルゴリズムを開発する。 OPOは、AlpacaEvalのような評価セットや一般的なベンチマークにおいて、既存のペアワイズおよびリストワイズアプローチよりも優れています。
  論文  参考訳（メタデータ） (2024-10-06T03:49:28Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• Amortized Proximal Optimization [11.441395750267052]
  Amortized Proximal Optimization (APO) は最適化を管理するパラメータのオンラインメタ最適化のためのフレームワークである。 APOが学習率や事前条件行列の構造化にどのように使えるかを示す。 学習率のオンライン適応と、回帰、画像再構成、画像分類、自然言語翻訳タスクのための構造化プレコンディショニングを実証的にテストした。
  論文  参考訳（メタデータ） (2022-02-28T20:50:48Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。