論文の概要: A novel evaluation methodology for supervised Feature Ranking algorithms

• arxiv url: http://arxiv.org/abs/2207.04258v1
• Date: Sat, 9 Jul 2022 12:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 11:20:18.549496
• Title: A novel evaluation methodology for supervised Feature Ranking algorithms
• Title（参考訳）: 教師付き特徴ランキングアルゴリズムのための新しい評価手法
• Authors: Jeroen G. S. Overschie
• Abstract要約: 本稿では,特徴ランクの新たな評価手法を提案する。 合成データセットを使用することで、特徴重要度スコアを事前に知ることができ、より体系的な評価が可能になる。 新しい方法論を使った大規模な実験を容易にするため、fsevalと呼ばれるベンチマークフレームワークがPythonで構築された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both in the domains of Feature Selection and Interpretable AI, there exists a desire to `rank' features based on their importance. Such feature importance rankings can then be used to either: (1) reduce the dataset size or (2) interpret the Machine Learning model. In the literature, however, such Feature Rankers are not evaluated in a systematic, consistent way. Many papers have a different way of arguing which feature importance ranker works best. This paper fills this gap, by proposing a new evaluation methodology. By making use of synthetic datasets, feature importance scores can be known beforehand, allowing more systematic evaluation. To facilitate large-scale experimentation using the new methodology, a benchmarking framework was built in Python, called fseval. The framework allows running experiments in parallel and distributed over machines on HPC systems. By integrating with an online platform called Weights and Biases, charts can be interactively explored on a live dashboard. The software was released as open-source software, and is published as a package on the PyPi platform. The research concludes by exploring one such large-scale experiment, to find the strengths and weaknesses of the participating algorithms, on many fronts.
• Abstract（参考訳）: 機能選択と解釈可能なAIの領域には、その重要性に基づいて機能の“ランク”を希望するものがある。 このような重要度ランキングは、(1)データセットのサイズを縮小するか、(2)機械学習モデルを解釈するかのいずれかに使用できる。 しかし文献では,このような特徴のランク付けは体系的かつ一貫した方法では評価されない。 多くの論文では、どの重要ランク付けが最善かという議論の方法が異なる。 本稿では,新しい評価手法を提案することにより,このギャップを埋める。 合成データセットを使用することで、特徴重要度スコアを事前に知ることができ、より体系的な評価が可能になる。 新しい方法論を使った大規模な実験を容易にするため、ベンチマークフレームワークはfsevalと呼ばれるpythonで構築された。 このフレームワークは、hpcシステム上で並列および分散マシン上で実験を実行することができる。 Weights and Biasesと呼ばれるオンラインプラットフォームとの統合により、チャートはライブダッシュボード上でインタラクティブに探索できる。 このソフトウェアはオープンソースソフトウェアとしてリリースされ、PyPiプラットフォーム上のパッケージとして公開されている。 この研究は、多くの面で、参加するアルゴリズムの強みと弱みを見つけるために、このような大規模な実験を1つ探すことで締めくくっている。

関連論文リスト

• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• piRank: A Probabilistic Intent Based Ranking Framework for Facebook Search [0.07614628596146598]
  本稿では,異なるクエリインテントに対する様々なランキング問題に対処するために,確率的意図に基づくランキングフレームワーク(piRank の略)を提案する。 我々は、Facebookの検索エンジンシステム上での広範な実験と研究を行い、この新しいランキングアーキテクチャの有効性を検証した。
  論文  参考訳（メタデータ） (2022-03-27T18:12:56Z)
• What are the best systems? New perspectives on NLP Benchmarking [10.27421161397197]
  そこで本研究では,各タスクのパフォーマンスに基づいて,システムにランク付けする新しい手法を提案する。 社会的選択理論によって動機付けられ、各タスクによって誘導されるランクを集約することで最終システム順序付けが得られる。 本手法は, 平均集約法とは異なる, 最先端システム上での結論を導出することを示す。
  論文  参考訳（メタデータ） (2022-02-08T11:44:20Z)
• Neural Code Summarization: How Far Are We? [30.324396716447602]
  ディープラーニング技術を利用して、与えられたコードスニペットの要約を自動的に生成する。 本稿では,5つの最先端のニューラルネットワークの要約モデルについて,系統的かつ詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-07-15T04:33:59Z)
• Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning [66.59455427102152]
  不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。 各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。 モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
  論文  参考訳（メタデータ） (2021-06-07T23:57:32Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)
• Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies [65.92826041406802]
  本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。 複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。 本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-26T14:52:42Z)
• Scaling Systematic Literature Reviews with Machine Learning Pipelines [57.82662094602138]
  体系的なレビューは、科学的文書からデータを抽出する。 これらの側面をそれぞれ自動化するパイプラインを構築し、多くの人間時間対システム品質トレードオフを実験します。 人間の専門的アノテーションの2週間だけで、パイプラインシステム全体の驚くほどの精度と一般性が得られることが分かりました。
  論文  参考訳（メタデータ） (2020-10-09T16:19:42Z)
• Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank [14.827143632277274]
  ユーザのバイアスモデル(すなわち、確率モデル)とアンバイアスなランク付けを共同で学習するAutoULTRアルゴリズムは、性能が優れ、実際のデプロイコストが低いため、多くの注目を集めている。 近年の文脈認識型学習 to ランクモデルの進歩により,複数の文書をまとめて読み上げ,それらのランキングスコアを予測する多変量スコア関数が,人間関連ラベルを用いたランキングタスクにおいて,一変量ランキング関数よりも強力であることが示されている。 2つの大規模ベンチマークデータセットの合成クリック実験により、置換不変な多変量スコアリング機能を持つAutoULTRモデルの性能が著しく向上したことが示された。
  論文  参考訳（メタデータ） (2020-08-20T16:31:59Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。