論文の概要: SMOOT: Saliency Guided Mask Optimized Online Training

• arxiv url: http://arxiv.org/abs/2310.00772v2
• Date: Tue, 10 Oct 2023 21:42:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 02:51:37.683612
• Title: SMOOT: Saliency Guided Mask Optimized Online Training
• Title（参考訳）: SMOOT: オンライントレーニングを最適化したSaliency Guided Mask
• Authors: Ali Karkehabadi, Houman Homayoun, Avesta Sasan
• Abstract要約: Saliency-Guided Training (SGT) 手法は、出力に基づいてモデルのトレーニングで顕著な特徴を強調しようとする。 SGTは入力を部分的にマスキングすることで、モデルの最終的な結果をより解釈できるようにする。 本稿では,トレーニング中の入力,精度,モデル損失に基づいて,マスク画像の最適個数を推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.024318849346373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep Neural Networks are powerful tools for understanding complex patterns and making decisions. However, their black-box nature impedes a complete understanding of their inner workings. Saliency-Guided Training (SGT) methods try to highlight the prominent features in the model's training based on the output to alleviate this problem. These methods use back-propagation and modified gradients to guide the model toward the most relevant features while keeping the impact on the prediction accuracy negligible. SGT makes the model's final result more interpretable by masking input partially. In this way, considering the model's output, we can infer how each segment of the input affects the output. In the particular case of image as the input, masking is applied to the input pixels. However, the masking strategy and number of pixels which we mask, are considered as a hyperparameter. Appropriate setting of masking strategy can directly affect the model's training. In this paper, we focus on this issue and present our contribution. We propose a novel method to determine the optimal number of masked images based on input, accuracy, and model loss during the training. The strategy prevents information loss which leads to better accuracy values. Also, by integrating the model's performance in the strategy formula, we show that our model represents the salient features more meaningful. Our experimental results demonstrate a substantial improvement in both model accuracy and the prominence of saliency, thereby affirming the effectiveness of our proposed solution.
• Abstract（参考訳）: ディープニューラルネットワークは、複雑なパターンを理解し、意思決定するための強力なツールである。 しかし、そのブラックボックスの性質は内部の動作を完全に理解することを妨げている。 Saliency-Guided Training (SGT)メソッドは、この問題を緩和するために出力に基づいて、モデルのトレーニングで顕著な特徴を強調しようとする。 これらの方法はバックプロパゲーションと修正された勾配を用いてモデルを最も関連する特徴へと導くと同時に、予測精度への影響を無視する。 SGTは入力を部分的にマスキングすることで、モデルの最終的な結果をより解釈できるようにする。 このように、モデルの出力を考えると、入力の各セグメントが出力にどのように影響するかを推測できる。 入力として画像の特定の場合には、入力画素にマスキングが適用される。 しかし、マスキング戦略と、我々がマスキングする画素数は、ハイパーパラメータと見なされている。 マスキング戦略の適切な設定は、モデルのトレーニングに直接影響を及ぼす可能性がある。 本稿では,この問題に着目し,その貢献について述べる。 本稿では,トレーニング中の入力,精度,モデル損失に基づいて,マスク画像の最適数を決定する手法を提案する。 この戦略は情報損失を防ぎ、精度を向上させる。 また,モデルの性能を戦略公式に組み込むことにより,我々のモデルがより有意義な特徴を表すことを示す。 実験の結果, モデル精度, 精度の両面で有意な改善がみられ, 提案手法の有効性が確認された。

関連論文リスト

• Bootstrap Masked Visual Modeling via Hard Patches Mining [68.74750345823674]
  マスク付き視覚モデリングは、一般化可能な表現の学習において有望な可能性を秘めているため、多くの注目を集めている。 モデルが教師の靴の中に立つことは同様に重要であると我々は主張する。 教師としてのモデルを強化するため,我々はハードパッチマイニング(HPM, Hard Patches Mining)を提案し,パッチワイド損失を予測し,次にマスクの場所を決定する。
  論文  参考訳（メタデータ） (2023-12-21T10:27:52Z)
• Hard Patches Mining for Masked Image Modeling [52.46714618641274]
  マスク付き画像モデリング(MIM)は、スケーラブルな視覚表現を学習する有望な可能性から、多くの研究の注目を集めている。 我々はMIM事前学習のための新しいフレームワークであるHPM(Hard Patches Mining)を提案する。
  論文  参考訳（メタデータ） (2023-04-12T15:38:23Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Texture-Based Input Feature Selection for Action Recognition [3.9596068699962323]
  本稿では,ドメインの差分を増大させる入力におけるタスク関連コンテンツを決定する新しい手法を提案する。 提案モデルは,HMDB-51データセットとPenn Actionデータセットにおいて,既存の行動認識モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-28T23:56:31Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。