論文の概要: CHALLENGER: Training with Attribution Maps

• arxiv url: http://arxiv.org/abs/2205.15094v1
• Date: Mon, 30 May 2022 13:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:10:43.319103
• Title: CHALLENGER: Training with Attribution Maps
• Title（参考訳）: CHALLENGER: 属性マップによるトレーニング
• Authors: Christian Tomani and Daniel Cremers
• Abstract要約: ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 63.736435657236505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that utilizing attribution maps for training neural networks can improve regularization of models and thus increase performance. Regularization is key in deep learning, especially when training complex models on relatively small datasets. In order to understand inner workings of neural networks, attribution methods such as Layer-wise Relevance Propagation (LRP) have been extensively studied, particularly for interpreting the relevance of input features. We introduce Challenger, a module that leverages the explainable power of attribution maps in order to manipulate particularly relevant input patterns. Therefore, exposing and subsequently resolving regions of ambiguity towards separating classes on the ground-truth data manifold, an issue that arises particularly when training models on rather small datasets. Our Challenger module increases model performance through building more diverse filters within the network and can be applied to any input data domain. We demonstrate that our approach results in substantially better classification as well as calibration performance on datasets with only a few samples up to datasets with thousands of samples. In particular, we show that our generic domain-independent approach yields state-of-the-art results in vision, natural language processing and on time series tasks.
• Abstract（参考訳）: ニューラルネットワークのトレーニングにアトリビューションマップを利用すると,モデルの規則化が改善され,パフォーマンスが向上することを示す。 ディープラーニングでは、特に比較的小さなデータセットで複雑なモデルをトレーニングする場合、正規化が鍵となる。 ニューラルネットワークの内部動作を理解するために、特に入力特徴の関連性を解釈するために、層間関連伝播(lrp)のような帰属法が広く研究されている。 特に関連する入力パターンを操作するために,帰属マップの説明力を活用するモジュールであるchallerを紹介する。 従って、曖昧さの領域を露呈して、基底データ多様体上のクラスを分離する、という問題は、特に小さなデータセット上でモデルをトレーニングする場合に発生する。 我々のChallengerモジュールは、ネットワーク内でより多様なフィルタを構築し、任意の入力データドメインに適用することで、モデルパフォーマンスを向上させる。 提案手法は,データセットの分類とキャリブレーション性能が著しく向上し,数千のサンプルを持つデータセットまでのサンプルがわずかであったことが実証された。 特に、我々の一般的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。

関連論文リスト

• Hierarchical Multi-Label Classification with Missing Information for Benthic Habitat Imagery [1.6492989697868894]
  複数のレベルのアノテーション情報が存在するシナリオでHMLトレーニングを行う能力を示す。 その結果,局所的・局所的なベントニック・サイエンス・プロジェクトで典型的な,より小さなワンホット・イメージ・ラベル・データセットを使用する場合,イメージネット上で事前学習したドメイン内ベントニック・データの大規模な収集に対して,自己スーパービジョンで事前学習したモデルの方が優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-10T16:15:01Z)
• Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
  最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。 自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。 結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
  論文  参考訳（メタデータ） (2024-06-25T02:59:02Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Multimodal Prototypical Networks for Few-shot Learning [20.100480009813953]
  クロスモーダルな機能生成フレームワークは、数ショットのシナリオにおいて、人口密度の低い埋め込みスペースを強化するために使用される。 このような場合、近隣の分類は実現可能なアプローチであり、最先端のシングルモーダルおよびマルチモーダルの複数ショット学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-17T19:32:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。