論文の概要: Climbing the WOL: Training for Cheaper Inference

• arxiv url: http://arxiv.org/abs/2007.01230v2
• Date: Fri, 3 Jul 2020 03:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 14:55:44.764633
• Title: Climbing the WOL: Training for Cheaper Inference
• Title（参考訳）: WOLのクライミング:チェアパー推論のトレーニング
• Authors: Zichang Liu, Zhaozhuo Xu, Alan Ji, Jonathan Li, Beidi Chen, Anshumali Shrivastava
• Abstract要約: 我々は、MIPSサブルーチンは、大きな内部積を高いリコールで回収するために調整されているため、準最適であると主張している。 提案手法はより効率的で,高い推論精度を実現するのに十分である。
• 参考スコア（独自算出の注目度）: 50.63998662655047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient inference for wide output layers (WOLs) is an essential yet challenging task in large scale machine learning. Most approaches reduce this problem to approximate maximum inner product search (MIPS), which relies heavily on the observation that for a given model, ground truth labels correspond to logits of highest value during full model inference. However, such an assumption is restrictive in practice. In this paper, we argue that approximate MIPS subroutines, despite having sub-linear computation time, are sub-optimal because they are tailored for retrieving large inner products with high recall instead of retrieving the correct labels. With WOL, the labels often have moderate inner products, which makes approximate MIPS more challenging. We propose an alternative problem formulation, called Label Superior Sampling (LSS), where the objective is to tailor the system to ensure retrieval of the correct label. Accordingly, we propose a novel learned hash approach, which is significantly more efficient and sufficient for high inference accuracy than MIPS baselines. Our extensive evaluation indicates that LSS can match or even outperform full inference accuracy with around 5x speed up and 87% energy reduction.
• Abstract（参考訳）: 広出力層(WOL)の効率的な推論は、大規模機械学習において不可欠だが難しい課題である。 ほとんどの手法は、与えられたモデルに対して、基底真理ラベルが完全なモデル推論中に最も高い値のロジットに対応するという観察に大きく依存する最大内積探索(MIPS)にこの問題を還元する。 しかし、実際にはそのような仮定は限定的である。 本稿では, 近似mipsサブルーチンは, サブ線形計算時間を持つにもかかわらず, 正しいラベルを検索するのではなく, 高いリコール率で大きな内積を取り出すために調整されているため, サブ最適であると主張する。 WOLでは、ラベルは中程度の内部積を持つことが多く、MIPSの近似はより困難である。 そこで本研究では,ラベルの検索を適切に行うためにシステムを調整することを目的として,LSS (Label Superior Sampling) と呼ばれる別の問題の定式化を提案する。 そこで本研究では,MIPSベースラインよりもはるかに効率が高く,推論精度が高い学習ハッシュ手法を提案する。 以上の結果から,LSSは全推定精度を約5倍に向上し,エネルギー効率を87%向上させることができた。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
  MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。 The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。 実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:20:34Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Learning with Noisy Labels: Interconnection of Two Expectation-Maximizations [41.65589788264123]
  労働集約型ラベリングは、ディープラーニングに基づくコンピュータビジョンアルゴリズムの開発においてボトルネックとなる。 雑音データ中の構造的多様体を見つけるタスクとして形式化された雑音ラベル(LNL)問題による学習に対処する。 本アルゴリズムは,複数の標準ベンチマークにおいて,様々な種類のラベルノイズの下でかなりのマージンを有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T07:22:30Z)
• Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines [0.9831489366502302]
  サポートベクトルマシン(SVM)は、バイナリ分類のための教師付き学習モデルである。 半定値プログラミング(SDP)緩和を用いたS3VMの新しい分岐手法を提案する。 SDP緩和は文献で利用できるものよりもはるかに強い境界を提供する。
  論文  参考訳（メタデータ） (2023-12-15T13:44:54Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Online Metric Learning for Multi-Label Classification [22.484707213499714]
  マルチラベル分類のための新しいオンラインメトリック学習パラダイムを提案する。 我々はまず,$k$-Nearest Neighbour(k$NN)に基づくマルチラベル分類のための新しい指標を提案する。
  論文  参考訳（メタデータ） (2020-06-12T11:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。