論文の概要: Bias Loss for Mobile Neural Networks

• arxiv url: http://arxiv.org/abs/2107.11170v2
• Date: Mon, 26 Jul 2021 14:41:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-27 10:23:11.797166
• Title: Bias Loss for Mobile Neural Networks
• Title（参考訳）: モバイルニューラルネットワークにおけるバイアス損失
• Authors: Lusine Abrahamyan, Valentin Ziatchin, Yiming Chen and Nikos Deligiannis
• Abstract要約: コンパクト畳み込みニューラルネットワーク(CNN)は、近年、異常なパフォーマンス改善を目撃している。 層によって捕捉される多様かつ豊富な特徴は、これらの成功しているCNNの重要な特徴である。 コンパクトCNNでは、パラメータ数が限られているため、豊富な特徴が得られず、特徴の多様性が本質的な特徴となる。
• 参考スコア（独自算出の注目度）: 14.08237958134373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compact convolutional neural networks (CNNs) have witnessed exceptional improvements in performance in recent years. However, they still fail to provide the same predictive power as CNNs with a large number of parameters. The diverse and even abundant features captured by the layers is an important characteristic of these successful CNNs. However, differences in this characteristic between large CNNs and their compact counterparts have rarely been investigated. In compact CNNs, due to the limited number of parameters, abundant features are unlikely to be obtained, and feature diversity becomes an essential characteristic. Diverse features present in the activation maps derived from a data point during model inference may indicate the presence of a set of unique descriptors necessary to distinguish between objects of different classes. In contrast, data points with low feature diversity may not provide a sufficient amount of unique descriptors to make a valid prediction; we refer to them as random predictions. Random predictions can negatively impact the optimization process and harm the final performance. This paper proposes addressing the problem raised by random predictions by reshaping the standard cross-entropy to make it biased toward data points with a limited number of unique descriptive features. Our novel Bias Loss focuses the training on a set of valuable data points and prevents the vast number of samples with poor learning features from misleading the optimization process. Furthermore, to show the importance of diversity, we present a family of SkipNet models whose architectures are brought to boost the number of unique descriptors in the last layers. Our Skipnet-M can achieve 1% higher classification accuracy than MobileNetV3 Large.
• Abstract（参考訳）: コンパクト畳み込みニューラルネットワーク(CNN)は、近年、異常なパフォーマンス改善を目撃している。 しかし、多くのパラメータを持つcnnと同じ予測能力を提供していない。 層によって捕獲される多様で豊富な特徴は、これらの成功したcnnの重要な特徴である。 しかし、この特徴の大きいcnnとコンパクトなcnnとの差は、ほとんど調査されていない。 コンパクトCNNでは、パラメータ数が限られているため、豊富な特徴が得られず、特徴の多様性が重要な特徴となる。 モデル推論中にデータポイントから派生したアクティベーションマップに存在する様々な特徴は、異なるクラスのオブジェクトを区別するのに必要なユニークな記述子の存在を示す可能性がある。 対照的に、特徴の多様性の低いデータポイントは、有効な予測を行うのに十分な量のユニークな記述子を提供しないかもしれない。 ランダムな予測は最適化プロセスに悪影響を与え、最終的なパフォーマンスを損なう。 本稿では,ランダム予測によって生じる問題に対して,標準クロスエントロピーを再構成し,特徴量に制限のあるデータポイントに対してバイアスを与える手法を提案する。 新たなバイアス損失は,貴重なデータポイントのセットのトレーニングに焦点をあてることにより,学習機能に乏しい多数のサンプルが最適化プロセスを誤解することを防止する。 さらに、多様性の重要性を示すために、最後のレイヤにおけるユニークな記述子数を増やすためにアーキテクチャが導入されたSkipNetモデルのファミリーを示す。 我々のSkipnet-MはMobileNetV3 Largeよりも1%高い分類精度が得られる。

関連論文リスト

• Scale-Invariant Object Detection by Adaptive Convolution with Unified Global-Local Context [3.061662434597098]
  本稿では,効率的なDetモデルに基づくSAC-Net(Switchable Atrous Convolutional Network)を用いたオブジェクト検出モデルを提案する。 提案したSAC-Netは,マルチスケールオブジェクト検出タスクの性能向上を実現するために,低レベル機能と高レベル機能の両方の利点をカプセル化している。 ベンチマークデータセットを用いた実験により,提案したSAC-Netは,精度の点で最先端モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-09-17T10:08:37Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• Exact Feature Collisions in Neural Networks [2.1069219768528473]
  最近の研究では、同じネットワークが大規模な変化に対して非常に敏感であることが示唆されている。 そのような場合、2つのデータポイントの特徴は概して衝突し、ほぼ同様の予測が導かれる。 本研究では,衝突に依存しない数値的手法であるNull-space Searchを提案し,任意の入力に対して照合機能を備えたデータポイントを作成する。
  論文  参考訳（メタデータ） (2022-05-31T13:01:00Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。