論文の概要: Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees

• arxiv url: http://arxiv.org/abs/2404.12190v1
• Date: Thu, 18 Apr 2024 13:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:21:51.195434
• Title: Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees
• Title（参考訳）: 勾配高木を用いた確率学習のためのランク付け対象のヘシアン行列の推定
• Authors: Jingwei Kang, Maarten de Rijke, Harrie Oosterhuis,
• Abstract要約: グラディエントブースト決定木(GBDT)のランク付け手法について紹介する。 我々の主な貢献は、二階微分、すなわちヘッセン行列に対する新しい推定器である。 推定器を既存のPL-Rankフレームワークに組み込む。
• 参考スコア（独自算出の注目度）: 63.18324983384337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic learning to rank (LTR) is a recent branch in the LTR field that concerns the optimization of probabilistic ranking models. Their probabilistic behavior enables certain ranking qualities that are impossible with deterministic models. For example, they can increase the diversity of displayed documents, increase fairness of exposure over documents, and better balance exploitation and exploration through randomization. A core difficulty in LTR is gradient estimation, for this reason, existing stochastic LTR methods have been limited to differentiable ranking models (e.g., neural networks). This is in stark contrast with the general field of LTR where Gradient Boosted Decision Trees (GBDTs) have long been considered the state-of-the-art. In this work, we address this gap by introducing the first stochastic LTR method for GBDTs. Our main contribution is a novel estimator for the second-order derivatives, i.e., the Hessian matrix, which is a requirement for effective GBDTs. To efficiently compute both the first and second-order derivatives simultaneously, we incorporate our estimator into the existing PL-Rank framework, which was originally designed for first-order derivatives only. Our experimental results indicate that stochastic LTR without the Hessian has extremely poor performance, whilst the performance is competitive with the current state-of-the-art with our estimated Hessian. Thus, through the contribution of our novel Hessian estimation method, we have successfully introduced GBDTs to stochastic LTR.
• Abstract（参考訳）: 確率的ランク付けモデルの最適化に関して,確率的ランク付け学習(Stochastic Learning to rank, LTR)は近年のLTR分野の分野である。 確率的振る舞いは、決定論的モデルでは不可能な特定のランク付け品質を可能にする。 例えば、表示された文書の多様性を高め、文書に対する露出の公正性を高め、ランダム化によるエクスプロイトと探索のバランスを改善することができる。 LTRの中核となる問題は勾配推定であり、そのため既存の確率的LTR法は微分可能なランキングモデル(例えばニューラルネットワーク)に限られている。 これは、GBDT(Gradient Boosted Decision Trees)が長い間最先端と見なされてきたLTRの一般分野とは対照的である。 本稿では,GBDT に対する最初の確率 LTR 手法を導入することで,このギャップに対処する。 我々の主な貢献は、2階微分、すなわち有効GBDTの要求であるヘッセン行列に対する新しい推定器である。 一階導関数と二階導関数の両方を同時に効率的に計算するために、当初一階導関数のみを対象として設計された既存のPL-Rankフレームワークに推定器を組み込む。 実験結果から,Hessianを含まない確率的LTRの性能は極めて低いが,Hessianを含まない確率的LTRの性能は現在のHessianと競合していることがわかった。 そこで我々は,新しいヘッセン推定法の貢献により,確率的LTRにGBDTを導入することに成功した。

関連論文リスト

• Ranking-based Adaptive Query Generation for DETRs in Crowded Pedestrian Detection [49.27380156754935]
  DETRのクエリの数は手動で調整しなければなりませんが、そうでなければ、パフォーマンスは様々な程度に低下します。 本稿では,ランクに基づく適応クエリ生成(RAQG)を提案し,問題を緩和する。 提案手法は単純かつ効果的であり,任意のDETRにプラグインすることで,理論上クエリ適応性を実現する。
  論文  参考訳（メタデータ） (2023-10-24T11:00:56Z)
• Inference-time Stochastic Ranking with Risk Control [19.20938164194589]
  ランク付け方法の学習はオンライン経済において不可欠であり、ユーザやアイテムプロバイダに影響を与える。 本稿では,事前学習されたスコアリング関数に対して,保証されたユーティリティや公平さで推論時にランク付けを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:44:58Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Doubly-Robust Estimation for Unbiased Learning-to-Rank from Position-Biased Click Feedback [13.579420996461439]
  IPS推定の代わりにランク毎の待遇を期待する新しいDR推定器を提案する。 我々の結果は、最適な性能で収束するためには、桁違いに少ないデータポイントを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2022-03-31T15:38:25Z)
• Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning Using The Generalized Hyperbolic Prior [24.848237413017937]
  正準多進分解(CPD)のためのランク学習は、長い間必須だが難しい問題とみなされてきた。 テンソルランクの最適決定は、非決定論的時間ハード(NP-hard)タスクであることが知られている。 本稿では,確率論的モデリングモデルに先立って,より高度な一般化双曲型(GH)を導入する。
  論文  参考訳（メタデータ） (2020-09-05T06:07:21Z)
• Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
  スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。 我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:45Z)
• Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity [40.73281056650241]
  本稿では,真の勾配時間差学習アルゴリズムを設計・解析する原理的な方法として,近位勾配時間差学習を導入する。 本研究では, 従来の目的関数からではなく, 主目的関数から始めることによって, 勾配性TD強化学習法を公式に導出する方法を示す。
  論文  参考訳（メタデータ） (2020-06-06T21:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。