Fugu-MT 論文翻訳(概要): Pre or Post-Softmax Scores in Gradient-based Attribution Methods, What is Best?

論文の概要: Pre or Post-Softmax Scores in Gradient-based Attribution Methods, What is Best?

arxiv url: http://arxiv.org/abs/2306.13197v1
Date: Thu, 22 Jun 2023 20:42:50 GMT
ステータス: 処理完了
システム内更新日: 2023-06-26 14:16:10.809725
Title: Pre or Post-Softmax Scores in Gradient-based Attribution Methods, What is Best?
Title（参考訳）: グラデーションベースアトリビューションのpreまたはpost-softmaxスコアは、何がベストか?
Authors: Miguel Lerma and Mirtha Lucas
Abstract要約: 本稿では,事前ソフトマックススコアとポストソフトマックススコアの勾配を用いた場合の実用的差異と,それぞれの利点と欠点について論じる。分類器として機能するニューラルネットワークの勾配に基づく帰属法は、ネットワークスコアの勾配を用いると結論付けている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient based attribution methods for neural networks working as classifiers use gradients of network scores. Here we discuss the practical differences between using gradients of pre-softmax scores versus post-softmax scores, and their respective advantages and disadvantages.
Abstract（参考訳）: 分類器として働くニューラルネットワークに対する勾配に基づく帰属法は、ネットワークスコアの勾配を用いる。本稿では,事前ソフトマックススコアの勾配とポストソフトマックススコアとの実用的差異と,それらの長所と短所について論じる。

関連論文リスト

Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。我々はその2次情報を経験的フィッシャー行列を通して活用する。ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文参考訳（メタデータ） (2024-10-24T18:02:11Z)
How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
論文参考訳（メタデータ） (2023-09-17T08:35:11Z)
Angle based dynamic learning rate for gradient descent [2.5077510176642805]
分類タスクにおける勾配に基づく降下法を適応的に学習する手法を提案する。勾配に基づく項を期待することで適応学習率を選択する従来の手法の代わりに、現在の勾配と新しい勾配の間の角度を用いる。提案手法は,ほとんどのデータセットにおいて,最も精度の高い手法であることがわかった。
論文参考訳（メタデータ） (2023-04-20T16:55:56Z)
NBC-Softmax : Darkweb Author fingerprinting and migration tracking [1.1470070927586016]
メトリック学習はデータから距離を学習することを目的としており、類似性に基づくアルゴリズムの性能を向上させる。我々は,ソフトマックス損失に対するコントラッシブ・ロスに基づくクラスタリング手法であるNBC-Softmaxを提案する。提案手法は,多数のサンプルの基準を満たすため,ブロックのコントラスト性を実現する。
論文参考訳（メタデータ） (2022-12-15T23:00:33Z)
Hierarchical classification at multiple operating points [1.520694326234112]
階層内の各クラスにスコアを割り当てる任意のメソッドに対して,演算特性曲線を生成する効率的なアルゴリズムを提案する。 2つの新しい損失関数を提案し、構造的ヒンジ損失のソフトな変形が平坦なベースラインを大幅に上回ることを示す。
論文参考訳（メタデータ） (2022-10-19T23:36:16Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Softmax Gradient Tampering: Decoupling the Backward Pass for Improved Fitting [8.072117741487046]
我々は、ニューラルネットワークの後方通過の勾配を変更する技術であるSoftmax Gradient Tamperingを紹介する。我々は,ConvNetのソフトマックス勾配を変更することで,トレーニング精度が向上することを示した。
論文参考訳（メタデータ） (2021-11-24T13:47:36Z)
Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
論文参考訳（メタデータ） (2021-06-22T03:13:23Z)
Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文参考訳（メタデータ） (2021-03-26T18:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。