Fugu-MT 論文翻訳(概要): Efficient Sampled Softmax for Tensorflow

論文の概要: Efficient Sampled Softmax for Tensorflow

arxiv url: http://arxiv.org/abs/2004.05244v1
Date: Fri, 10 Apr 2020 22:14:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-14 21:20:22.364760
Title: Efficient Sampled Softmax for Tensorflow
Title（参考訳）: tensorflowの効率的なサンプルソフトマックス
Authors: Maciej Skorski
Abstract要約: 本稿では,Emphsampled Softmax loss forflowの効率的な実装について論じる。デフォルトの実装のスピードアップは、前方と後方のパスに対するグラフの単純化によって達成される。
参考スコア（独自算出の注目度）: 2.28438857884398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This short paper discusses an efficient implementation of \emph{sampled softmax loss} for Tensorflow. The speedup over the default implementation is achieved due to simplification of the graph for the forward and backward passes.
Abstract（参考訳）: 本稿では,tensorflow に対する \emph{sampled softmax loss} の効率的な実装について述べる。デフォルトの実装のスピードアップは、前方と後方のパスに対するグラフの単純化によって達成される。

関連論文リスト

FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
論文参考訳（メタデータ） (2023-06-28T13:00:17Z)
A Fair Loss Function for Network Pruning [70.35230425589592]
本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
論文参考訳（メタデータ） (2022-11-18T15:17:28Z)
Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
論文参考訳（メタデータ） (2021-12-23T09:53:38Z)
GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文参考訳（メタデータ） (2021-11-26T18:59:56Z)
Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering [59.349057602266]
変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。 FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
論文参考訳（メタデータ） (2021-09-13T08:31:59Z)
Stochastic Optimization with Laggard Data Pipelines [65.20044914532221]
共通最適化手法の「データ抽出」拡張は同期手法よりも優れた性能を示すことを示す。具体的には、ミニバッチによる凸最適化において、データエコーは、最適統計率を維持しながら収束率の曲率に支配される部分の高速化をもたらすことを示す。
論文参考訳（メタデータ） (2020-10-26T14:55:31Z)
Riemannian stochastic recursive momentum method for non-convex optimization [36.79189106909088]
我々は,1回の反復で$mathcalOグラデーション評価を行うための atildeOepsilon$-approximate gradient Evaluations 法を提案する。提案した実験はアルゴリズムの優越性を実証するものである。
論文参考訳（メタデータ） (2020-08-11T07:05:58Z)
Active Sampling for Min-Max Fairness [28.420886416425077]
min-maxフェアネスを最適化するための簡易なアクティブサンプリングと再重み付け手法を提案する。実装の容易さとロバストな定式化の汎用性により、不備な群におけるモデル性能を改善するための魅力的な選択肢となる。線形回帰法やロジスティック回帰法のような凸学習問題に対しては、分極値解への収束率を証明し、きめ細かな解析を行う。
論文参考訳（メタデータ） (2020-06-11T23:57:55Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
MaxUp: A Simple Way to Improve Generalization of Neural Network Training [41.89570630848936]
emphMaxUpは、機械学習モデルの一般化性能を改善するための、恥ずかしいほどシンプルで、非常に効果的なテクニックである。特に、ImageNetの分類を最先端のトップ-1の精度で85.5%$、追加データなしでは85.8%$に改善します。
論文参考訳（メタデータ） (2020-02-20T21:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。