論文の概要: Entropy Loss: An Interpretability Amplifier of 3D Object Detection Network for Intelligent Driving
- arxiv url: http://arxiv.org/abs/2409.00839v1
- Date: Sun, 1 Sep 2024 20:55:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 08:51:29.897884
- Title: Entropy Loss: An Interpretability Amplifier of 3D Object Detection Network for Intelligent Driving
- Title（参考訳）: エントロピー損失:知的運転のための3次元物体検出ネットワークの解釈可能性増幅器
- Authors: Haobo Yang, Shiyan Zhang, Zhuoyi Yang, Xinyu Zhang, Li Wang, Yifan Tang, Jilong Guo, Jun Li,
- Abstract要約: 本稿では,「エントロピー損失」と呼ばれる新しいタイプの損失関数と,革新的なトレーニング戦略を紹介する。
エントロピー損失は知覚モデル内の特徴圧縮ネットワークの機能に基づいて定式化される。
KITTIテストセットのエントロピー損失を用いた3次元物体検出モデルの精度は、エントロピー損失のないモデルと比較して4.47%向上した。
- 参考スコア（独自算出の注目度）: 12.785134710797244
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the increasing complexity of the traffic environment, the significance of safety perception in intelligent driving is intensifying. Traditional methods in the field of intelligent driving perception rely on deep learning, which suffers from limited interpretability, often described as a "black box." This paper introduces a novel type of loss function, termed "Entropy Loss," along with an innovative training strategy. Entropy Loss is formulated based on the functionality of feature compression networks within the perception model. Drawing inspiration from communication systems, the information transmission process in a feature compression network is expected to demonstrate steady changes in information volume and a continuous decrease in information entropy. By modeling network layer outputs as continuous random variables, we construct a probabilistic model that quantifies changes in information volume. Entropy Loss is then derived based on these expectations, guiding the update of network parameters to enhance network interpretability. Our experiments indicate that the Entropy Loss training strategy accelerates the training process. Utilizing the same 60 training epochs, the accuracy of 3D object detection models using Entropy Loss on the KITTI test set improved by up to 4.47\% compared to models without Entropy Loss, underscoring the method's efficacy. The implementation code is available at \url{https://github.com/yhbcode000/Eloss-Interpretability}.
- Abstract（参考訳）: 交通環境の複雑さが増すにつれ、インテリジェントな運転における安全認識の重要性が増している。
知的運転知覚の分野における伝統的な手法は深層学習に依存しており、限定的な解釈可能性に悩まされており、しばしば「ブラックボックス」と表現される。
本稿では,「エントロピー損失」と呼ばれる新しいタイプの損失関数と,革新的なトレーニング戦略を紹介する。
エントロピー損失は知覚モデル内の特徴圧縮ネットワークの機能に基づいて定式化される。
通信システムからインスピレーションを得て、特徴圧縮ネットワークにおける情報伝達プロセスは、情報量の変化と情報エントロピーの継続的な減少を示すことが期待されている。
ネットワーク層を連続確率変数としてモデル化することにより,情報量の変化を定量化する確率モデルを構築する。
エントロピー損失は、これらの期待に基づいて導出され、ネットワークの解釈可能性を高めるために、ネットワークパラメータの更新を導く。
実験により,エントロピーロストレーニング戦略がトレーニング過程を加速することが示された。
同じ60のトレーニングエポックを用いて、KITTIテストセットのエントロピー損失を用いた3次元物体検出モデルの精度は、エントロピー損失のないモデルと比較して最大4.47倍向上し、この手法の有効性を裏付けた。
実装コードは \url{https://github.com/yhbcode000/Eloss-Interpretability} で公開されている。
関連論文リスト
- Dynamical loss functions shape landscape topography and improve learning in artificial neural networks [0.9208007322096533]
クロスエントロピーと平均二乗誤差を動的損失関数に変換する方法を示す。
異なるサイズのネットワークに対する検証精度を大幅に向上させる方法を示す。
論文 参考訳（メタデータ） (2024-10-14T16:27:03Z) - Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。
現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。
本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
論文 参考訳（メタデータ） (2024-10-07T09:08:32Z) - Contrastive Representation Learning for Dynamic Link Prediction in Temporal Networks [1.9389881806157312]
本稿では,時間ネットワークの表現を学習するための自己教師付き手法を提案する。
本稿では、時間的ネットワークの時間的参照経路を介して情報の流れをモデル化するための、繰り返しメッセージパッシングニューラルネットワークアーキテクチャを提案する。
提案手法は、Enron、COLAB、Facebookのデータセットでテストされる。
論文 参考訳（メタデータ） (2024-08-22T22:50:46Z) - Liquid Neural Network-based Adaptive Learning vs. Incremental Learning for Link Load Prediction amid Concept Drift due to Network Failures [37.66676003679306]
概念の漂流に適応することは、機械学習において難しい課題である。
通信ネットワークでは、障害イベントの後に交通予報を行う際にこのような問題が生じる。
本稿では,適応学習アルゴリズム,すなわち,データパターンの急激な変化を,再学習を必要とせずに自己適応できる手法を提案する。
論文 参考訳（メタデータ） (2024-04-08T08:47:46Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Entropy-based Guidance of Deep Neural Networks for Accelerated Convergence and Improved Performance [0.8749675983608172]
完全に接続された畳み込みニューラルネットワークの処理データとしてエントロピーの変化を測定するために、新しい数学的結果を得る。
ネットワーク処理データとしてのエントロピーの変化を効果的に測定することにより、良好なネットワークに不可欠なパターンを視覚化し、同定することができる。
ベンチマークデータセットにおける画像圧縮、画像分類、イメージセグメンテーションの実験は、これらの損失がニューラルネットワークを誘導し、少ない次元でリッチな潜在データ表現を学習することを示した。
論文 参考訳（メタデータ） (2023-08-28T23:33:07Z) - Effect of Choosing Loss Function when Using T-batching for
Representation Learning on Dynamic Networks [0.0]
Tバッチは動的ネットワークモデルをトレーニングする上で貴重なテクニックである。
t-batchingで使用する訓練損失関数の制限について検討した。
これらの問題を克服する2つの代替損失関数を提案し、結果としてトレーニング性能が向上する。
論文 参考訳（メタデータ） (2023-08-13T23:34:36Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Learning Context-Based Non-local Entropy Modeling for Image Compression [140.64888994506313]
本稿では,文脈内でのグローバルな類似性を利用して,文脈モデリングのための非局所的操作を提案する。
エントロピーモデルはさらに、結合速度歪み最適化における速度損失として採用されている。
低歪みモデルのトレーニングに変換の幅が不可欠であることを考えると、最終的に変換のU-Netブロックを生成して、管理可能なメモリ消費と時間複雑性で幅を拡大する。
論文 参考訳（メタデータ） (2020-05-10T13:28:18Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。