論文の概要: GuideBP: Guiding Backpropagation Through Weaker Pathways of Parallel Logits

• arxiv url: http://arxiv.org/abs/2104.11620v1
• Date: Fri, 23 Apr 2021 14:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 13:12:59.997577
• Title: GuideBP: Guiding Backpropagation Through Weaker Pathways of Parallel Logits
• Title（参考訳）: guidebp: 平行ロジットの弱い経路を介してバックプロパゲーションを導く
• Authors: Bodhisatwa Mandal, Swarnendu Ghosh, Teresa Gon\c{c}alves, Paulo Quaresma, Mita Nasipuri, Nibaran Das
• Abstract要約: 提案手法は、最も弱い概念表現に沿ったバックプロパゲーションの勾配を導く。 弱点スコアは、ロジットの作成に使用される個々の経路のクラス固有のパフォーマンスを定義する。 提案手法は従来のカラムマージ手法よりも優れていることが示されている。
• 参考スコア（独自算出の注目度）: 6.764324841419295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks often generate multiple logits and use simple techniques like addition or averaging for loss computation. But this allows gradients to be distributed equally among all paths. The proposed approach guides the gradients of backpropagation along weakest concept representations. A weakness scores defines the class specific performance of individual pathways which is then used to create a logit that would guide gradients along the weakest pathways. The proposed approach has been shown to perform better than traditional column merging techniques and can be used in several application scenarios. Not only can the proposed model be used as an efficient technique for training multiple instances of a model parallely, but also CNNs with multiple output branches have been shown to perform better with the proposed upgrade. Various experiments establish the flexibility of the learning technique which is simple yet effective in various multi-objective scenarios both empirically and statistically.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、しばしば複数のロジットを生成し、損失計算のための加算や平均化のような単純なテクニックを使用する。 しかし、これにより勾配が全ての経路に等しく分散できる。 提案手法は、最も弱い概念表現に沿ったバックプロパゲーションの勾配を導く。 弱点スコアは、最も弱い経路に沿った勾配を導くロジットを作成するために使用される個々の経路のクラス固有のパフォーマンスを定義する。 提案手法は従来のカラムマージ手法よりも優れた性能を示しており、いくつかのアプリケーションシナリオで使用することができる。 提案手法は,モデルの複数のインスタンスを並列に学習する上で,効率的な手法として利用できるだけでなく,複数の出力ブランチを持つCNNも提案手法のアップグレードにより向上することが示されている。 様々な実験により、経験的および統計的に様々な多目的シナリオにおいて単純かつ効果的である学習技術の柔軟性が確立される。

関連論文リスト

• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Condensed Gradient Boosting [0.0]
  本稿では,マルチクラス問題を単一タスクとして扱うためのベースモデルとしてマルチ出力回帰器を提案する。 一般化と計算効率の観点から,他のマルチオプタットベース勾配促進法との比較を行った。
  論文  参考訳（メタデータ） (2022-11-26T15:53:19Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Efficiently Disentangle Causal Representations [37.1087310583588]
  モデルの一般化能力との違いを近似して、標準的な機械学習フレームワークに適合するようにします。 学習者の新しい分布への適応速度に依存する最先端のアプローチとは対照的に,提案手法ではモデルの一般化能力を評価する必要がある。
  論文  参考訳（メタデータ） (2022-01-06T07:12:36Z)
• Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework [43.76337849044254]
  自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。 自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:57Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Accumulated Decoupled Learning: Mitigating Gradient Staleness in Inter-Layer Model Parallelization [16.02377434191239]
  本稿では, 定常勾配効果を緩和するために, 勾配累積法を取り入れた累積非結合学習(ADL)を提案する。 提案手法は, 非同期性にもかかわらず, 臨界点, すなわち勾配が0に収束することを示す。 ADLは分類タスクにおいていくつかの最先端技術よりも優れており、比較手法の中では最速である。
  論文  参考訳（メタデータ） (2020-12-03T11:52:55Z)
• A Multilevel Approach to Training [0.0]
  本稿では, 離散化大規模偏微分方程式の解法としてよく用いられる非線形多値法に基づく新しい学習法を提案する。 本手法は,サンプル数を減らして階層構造を構築する。 元のモデルのトレーニングは、より少ないサンプルで構築されたシュロゲートモデルを内部でトレーニングすることで強化される。
  論文  参考訳（メタデータ） (2020-06-28T13:34:48Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。