論文の概要: Is Interpretable Machine Learning Effective at Feature Selection for Neural Learning-to-Rank?

• arxiv url: http://arxiv.org/abs/2405.07782v1
• Date: Mon, 13 May 2024 14:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:30:28.683463
• Title: Is Interpretable Machine Learning Effective at Feature Selection for Neural Learning-to-Rank?
• Title（参考訳）: ニューラルラーニング・トゥ・ランドにおける特徴選択における解釈可能な機械学習は有効か?
• Authors: Lijun Lyu, Nirmal Roy, Harrie Oosterhuis, Avishek Anand,
• Abstract要約: ニューラルネットワークのランキングモデルは、現実世界の検索とレコメンデーションシステムでますます人気が高まっている。 ツリーベースのモデルとは異なり、ニューラルモデルは解釈がはるかに少ない。 これは、現実世界のシステムにとって解釈可能性が非常に重要であるため、特に不利である。
• 参考スコア（独自算出の注目度）: 15.757181795925336
• License:
• Abstract: Neural ranking models have become increasingly popular for real-world search and recommendation systems in recent years. Unlike their tree-based counterparts, neural models are much less interpretable. That is, it is very difficult to understand their inner workings and answer questions like how do they make their ranking decisions? or what document features do they find important? This is particularly disadvantageous since interpretability is highly important for real-world systems. In this work, we explore feature selection for neural learning-to-rank (LTR). In particular, we investigate six widely-used methods from the field of interpretable machine learning (ML) and introduce our own modification, to select the input features that are most important to the ranking behavior. To understand whether these methods are useful for practitioners, we further study whether they contribute to efficiency enhancement. Our experimental results reveal a large feature redundancy in several LTR benchmarks: the local selection method TabNet can achieve optimal ranking performance with less than 10 features; the global methods, particularly our G-L2X, require slightly more selected features, but exhibit higher potential in improving efficiency. We hope that our analysis of these feature selection methods will bring the fields of interpretable ML and LTR closer together.
• Abstract（参考訳）: 近年、ニューラルネットワークのランキングモデルは現実世界の検索やレコメンデーションシステムで人気が高まっている。 ツリーベースのモデルとは異なり、ニューラルモデルは解釈がはるかに少ない。 つまり、内部の動作を理解して、どのようにランキング決定を下すかという疑問に答えることは非常に難しいのです。 重要と思われる文書の特徴は? これは、現実世界のシステムにとって解釈可能性が非常に重要であるため、特に不利である。 本研究では,ニューラル・ラーニング・トゥ・ランク(LTR)の特徴選択について検討する。 特に、解釈可能な機械学習(ML)の分野から広く使われている6つの手法を調査し、我々の独自の修正を導入し、ランク付け行動において最も重要な入力特徴を選択する。 これらの手法が実践者にとって有用かどうかを理解するため,効率向上に寄与するかどうかをさらに検討する。 局所的選択法TabNetは10未満の機能で最適なランク付け性能を達成でき、グローバルメソッド、特にG-L2Xは、より少ない選択機能を必要とするが、効率向上の可能性が高くなる。 我々は,これらの特徴選択法の解析により,解釈可能なMLとLTRの分野がより緊密になることを期待している。

関連論文リスト

• Data-Centric Human Preference Optimization with Rationales [23.243583332894737]
  人間のフィードバックからの強化学習は、言語モデルを人間の好みに合わせる上で重要な役割を担っている。 この作業は、データ中心のアプローチによる好み学習の改善に重点を移す。 我々は、選択の背景にある理由を説明する機械生成論理を用いて、既存の嗜好データセットを豊かにすることを提案する。
  論文  参考訳（メタデータ） (2024-07-19T17:27:52Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  大規模言語モデル(LLM)と決定木推論(OCTree)に基づく新しいフレームワークを提案する。 私たちのキーとなるアイデアは、LLMの推論機能を活用して、手動で検索スペースを指定せずに優れた特徴生成ルールを見つけることです。 実験の結果、この単純なフレームワークは様々な予測モデルの性能を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Feature Importance Ranking for Deep Learning [7.287652818214449]
  固定サイズの最適特徴部分集合を探索するための演算子とセレクタからなる新しいデュアルネットアーキテクチャを提案する。 学習中、オペレータは、セレクタによって生成された最適な特徴サブセット候補を介して教師付き学習タスクのために訓練される。 デプロイメントでは、セレクタが最適な特徴サブセットを生成し、機能の重要性をランク付けする一方、オペレータはテストデータの最適なサブセットに基づいて予測を行う。
  論文  参考訳（メタデータ） (2020-10-18T12:20:27Z)
• Automated Human Activity Recognition by Colliding Bodies Optimization-based Optimal Feature Selection with Recurrent Neural Network [0.0]
  HAR(Human Activity Recognition)は、センサの読み取りから広範に計算を行う上で、効率的なモデルであると考えられている。 本稿では,UC Irvine Machine Learning Repository(UCI)で公開されているスマートセンサから収集したデータを用いて,ディープラーニングを用いたHARシステムの実装を誘致する。
  論文  参考訳（メタデータ） (2020-10-07T10:58:46Z)
• Revisiting the Application of Feature Selection Methods to Speech Imagery BCI Datasets [1.7403133838762446]
  音声画像データセットに対して,機能選択/ランク付け手法がいかにシンプルで強力かを示す。 我々の第一の目的は、サポートベクターマシン、$k$-nearest近辺、決定木、線形判別分析、長期記憶リカレントニューラルネットワーク分類器から得られる分類精度を改善することである。
  論文  参考訳（メタデータ） (2020-08-17T22:48:52Z)
• Valid Explanations for Learning to Rank Models [5.320400771224103]
  本稿では,入力特徴の少数のサブセットをランキング決定の理由として同定するモデルに依存しない局所的説明法を提案する。 我々は,選択された特徴の有無に基づいて,ランク付けに特化して説明の妥当性と完全性という新たな概念を導入する。
  論文  参考訳（メタデータ） (2020-04-29T06:21:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。