論文の概要: Distilled Neural Networks for Efficient Learning to Rank

• arxiv url: http://arxiv.org/abs/2202.10728v1
• Date: Tue, 22 Feb 2022 08:40:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 15:46:18.928031
• Title: Distilled Neural Networks for Efficient Learning to Rank
• Title（参考訳）: 効率の良いランク学習のための蒸留ニューラルネットワーク
• Authors: F.M. Nardini, C. Rulli, S. Trani, R.Venturini
• Abstract要約: 本稿では, 蒸留法, プルーニング法, 高速行列乗算法を組み合わせて, ニューラルスコアリング時間を高速化する手法を提案する。 2つの公開学習からランクへのデータセットに関する総合的な実験は、新しいアプローチで生成されたニューラルネットワークが、有効性と効率のトレードオフのあらゆる点で競合していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies in Learning to Rank have shown the possibility to effectively distill a neural network from an ensemble of regression trees. This result leads neural networks to become a natural competitor of tree-based ensembles on the ranking task. Nevertheless, ensembles of regression trees outperform neural models both in terms of efficiency and effectiveness, particularly when scoring on CPU. In this paper, we propose an approach for speeding up neural scoring time by applying a combination of Distillation, Pruning and Fast Matrix multiplication. We employ knowledge distillation to learn shallow neural networks from an ensemble of regression trees. Then, we exploit an efficiency-oriented pruning technique that performs a sparsification of the most computationally-intensive layers of the neural network that is then scored with optimized sparse matrix multiplication. Moreover, by studying both dense and sparse high performance matrix multiplication, we develop a scoring time prediction model which helps in devising neural network architectures that match the desired efficiency requirements. Comprehensive experiments on two public learning-to-rank datasets show that neural networks produced with our novel approach are competitive at any point of the effectiveness-efficiency trade-off when compared with tree-based ensembles, providing up to 4x scoring time speed-up without affecting the ranking quality.
• Abstract（参考訳）: 近年のLearning to Rankの研究は、回帰木の集合からニューラルネットワークを効果的に蒸留する可能性を示している。 この結果、ニューラルネットワークはランキングタスクにおける木に基づくアンサンブルの自然な競合となる。 それでもレグレッションツリーのアンサンブルは、特にCPU上でのスコアリングにおいて、効率と有効性の両方でニューラルモデルを上回っている。 本稿では,Distillation,Pruning,Fast Matrix乗算の組み合わせを用いて,ニューラルスコアリング時間を高速化する手法を提案する。 我々は知識蒸留を用いて、回帰木の集合から浅いニューラルネットワークを学習する。 次に、最適化されたスパース行列乗算によって得られるニューラルネットワークの最も計算集約的な層を分割する効率指向のプルーニング手法を利用する。 さらに、高密度かつスパースな高性能行列乗算の研究により、所望の効率要件に適合するニューラルネットワークアーキテクチャを開発するのに役立つスコアリング時間予測モデルを開発した。 2つの公開学習ランクデータセットに関する総合的な実験により、新しいアプローチで生成されたニューラルネットワークは、木に基づくアンサンブルと比較した場合、有効効率のトレードオフの任意の点で競争力があり、ランキング品質に影響を与えることなく最大4倍のスコアリングタイムスピードアップを提供する。

関連論文リスト

• Hybrid deep additive neural networks [0.0]
  加算回帰という概念を取り入れた新しいディープニューラルネットワークを導入する。 我々のニューラルネットワークは、Kolmogorov-Arnoldネットワークとアーキテクチャ上の類似点を共有しているが、よりシンプルで柔軟なアクティベーションと基底関数に基づいている。 我々はそれらの普遍近似特性を導出し、シミュレーション研究と実データ応用を通してその効果を実証する。
  論文  参考訳（メタデータ） (2024-11-14T04:26:47Z)
• Transductive Spiking Graph Neural Networks for Loihi [0.8684584813982095]
  Loihi 2 向けに設計されたスパイキンググラフニューラルネットワークの完全なニューロモルフィック実装を提案する。 本稿では、ニューロモルフィックベイズ最適化と、固定精度スパイキングニューロンを用いた引用グラフ分類の併用による性能効果を示す。
  論文  参考訳（メタデータ） (2024-04-25T21:15:15Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.0822643340897273]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Truly Sparse Neural Networks at Scale [2.2860412844991655]
  私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。 われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
  論文  参考訳（メタデータ） (2021-02-02T20:06:47Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。