Fugu-MT 論文翻訳(概要): Anomalous behaviour in loss-gradient based interpretability methods

論文の概要: Anomalous behaviour in loss-gradient based interpretability methods

arxiv url: http://arxiv.org/abs/2207.07769v1
Date: Fri, 15 Jul 2022 22:04:27 GMT
ステータス: 処理完了
システム内更新日: 2022-07-19 15:44:38.953535
Title: Anomalous behaviour in loss-gradient based interpretability methods
Title（参考訳）: 損失勾配に基づく解法における異常挙動
Authors: Vinod Subramanian, Siddharth Gururani, Emmanouil Benetos, Mark Sandler
Abstract要約: 我々は、入力の一部を隠蔽し、隠蔽された入力の性能を元の入力と比較することにより、損失勾配に基づく属性法を評価する。同様の行動は、音響および画像認識タスクで観察される。
参考スコア（独自算出の注目度）: 20.754077009932715
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Loss-gradients are used to interpret the decision making process of deep learning models. In this work, we evaluate loss-gradient based attribution methods by occluding parts of the input and comparing the performance of the occluded input to the original input. We observe that the occluded input has better performance than the original across the test dataset under certain conditions. Similar behaviour is observed in sound and image recognition tasks. We explore different loss-gradient attribution methods, occlusion levels and replacement values to explain the phenomenon of performance improvement under occlusion.
Abstract（参考訳）: ロスグラディエントは、ディープラーニングモデルの意思決定プロセスの解釈に使用される。そこで本研究では,入力部をoccludingし,そのoccluded入力の性能を元の入力と比較することにより,損失勾配に基づく帰属法を評価する。閉鎖された入力は、特定の条件下でテストデータセットのオリジナルよりも優れた性能を示す。同様の行動は、音響および画像認識タスクで観察される。咬合時の性能改善現象を説明するために, 異なる損失勾配帰属法, 咬合レベル, 置換値について検討した。

関連論文リスト

Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
論文参考訳（メタデータ） (2024-07-03T13:44:20Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
Disentanglement Learning via Topology [22.33086299021419]
マルチスケールなトポロジ的損失項を付加することにより,不整合表現を学習するTopDisを提案する。ディスタングルメントは、ディープラーニングモデルの説明可能性と堅牢性にとって重要なデータ表現の重要な特性である。提案した位相損失を用いて,訓練されたGANにおいて不整合方向を求める方法を示す。
論文参考訳（メタデータ） (2023-08-24T10:29:25Z)
Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文参考訳（メタデータ） (2022-12-20T00:33:11Z)
Practical Insights of Repairing Model Problems on Image Classification [3.2932371462787513]
ディープラーニングモデルの追加トレーニングは、結果にネガティブな影響をもたらし、初期正のサンプルを負のサンプルに変える(劣化)。本稿では, 劣化低減手法の比較から得られた影響について述べる。その結果、実践者は、AIシステムのデータセットの可用性とライフサイクルを継続的に考慮し、より良い方法に気を配るべきであることが示唆された。
論文参考訳（メタデータ） (2022-05-14T19:28:55Z)
Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文参考訳（メタデータ） (2022-03-29T13:07:53Z)
Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
論文参考訳（メタデータ） (2022-02-28T18:59:20Z)
Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文参考訳（メタデータ） (2022-02-26T17:32:57Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
Dissecting the impact of different loss functions with gradient surgery [7.001832294837659]
ペアワイズ・ロス(英: Pair-wise Los)とは、損失関数を最適化することで意味的な埋め込みを学習するメトリクス学習のアプローチである。ここでは、これらの損失関数の勾配を、アンカー正対とアンカー負対の相対的特徴位置の押し方に関連する成分に分解する。
論文参考訳（メタデータ） (2022-01-27T03:55:48Z)
Improved Natural Language Generation via Loss Truncation [29.676561106319173]
識別性は、無効な参照を扱うための原則的で堅牢な代替手段であることを示す。学習中に高損失例を適応的に除去する損失トランケーションを提案する。これは、ログの損失やノイズ下での識別性を厳格に制限するのと同じくらい簡単に最適化できることを示している。
論文参考訳（メタデータ） (2020-04-30T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。