論文の概要: Attention Consistency Regularization for Interpretable Early-Exit Neural Networks

• arxiv url: http://arxiv.org/abs/2601.08891v1
• Date: Tue, 13 Jan 2026 11:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.127011
• Title: Attention Consistency Regularization for Interpretable Early-Exit Neural Networks
• Title（参考訳）: 解釈可能なアーリーエグジットニューラルネットワークのアテンション一貫性規則化
• Authors: Yanhua Zhao,
• Abstract要約: Explanation-Guided Training (EGT)は、アテンションベースの正規化を通じて、早期のネットワークにおける解釈可能性と一貫性を改善する。 EGTの全体的な精度は98.97%(ベースライン性能に適合)で、早期出口での推論速度は1.97倍である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early-exit neural networks enable adaptive inference by allowing predictions at intermediate layers, reducing computational cost. However, early exits often lack interpretability and may focus on different features than deeper layers, limiting trust and explainability. This paper presents Explanation-Guided Training (EGT), a multi-objective framework that improves interpretability and consistency in early-exit networks through attention-based regularization. EGT introduces an attention consistency loss that aligns early-exit attention maps with the final exit. The framework jointly optimizes classification accuracy and attention consistency through a weighted combination of losses. Experiments on a real-world image classification dataset demonstrate that EGT achieves up to 98.97% overall accuracy (matching baseline performance) with a 1.97x inference speedup through early exits, while improving attention consistency by up to 18.5% compared to baseline models. The proposed method provides more interpretable and consistent explanations across all exit points, making early-exit networks more suitable for explainable AI applications in resource-constrained environments.
• Abstract（参考訳）: 初期の外部ニューラルネットワークは中間層での予測を可能にして適応推論を可能にし、計算コストを削減している。 しかしながら、アーリーエグジットは解釈可能性に欠けることが多く、より深いレイヤよりも機能に重点を置いて、信頼性と説明可能性を制限することもある。 本稿では,多目的フレームワークであるExplaination-Guided Training (EGT)を提案する。 EGTはアテンション一貫性の喪失を導入し、アテンションマップを最終出口と整列させる。 このフレームワークは、損失の重み付けによる分類精度と注意一貫性を共同で最適化する。 実世界の画像分類データセットの実験では、EGTの全体的な精度は98.97%に達し、早期出口での推論速度は1.97倍で、ベースラインモデルに比べて18.5%向上している。 提案手法は,エグジットポイント全体にわたってより解釈可能で一貫した説明を提供することにより,リソース制約のある環境下でのAIアプリケーションに対して,アーリーエグジットネットワークをより適切なものにする。

関連論文リスト

• Bridging Efficiency and Safety: Formal Verification of Neural Networks with Early Exits [13.111404520708879]
  アーリーエグジットアーキテクチャに適したロバスト性特性を定義する。 棚外の解法がいかにしてそれを評価することができるかを示す。 これらのメトリクスは、ユーザが精度と効率の間の本質的にのトレードオフをナビゲートするのにどのように役立つかを示します。
  論文  参考訳（メタデータ） (2025-12-23T20:36:54Z)
• Learning Wireless Interference Patterns: Decoupled GNN for Throughput Prediction in Heterogeneous Multi-Hop p-CSMA Networks [4.303580795892996]
  Decoupled Graph Convolutional Network (D-GCN)は、ノードの送信確率の処理を近隣の干渉効果から明確に分離する新しいアーキテクチャである。 D-GCNは3.3%のNMAEを達成し、強力なベースラインを上回り、正確な解析手法が計算的に実現不可能になった場合でも、依然として引くことができる。
  論文  参考訳（メタデータ） (2025-10-15T22:13:59Z)
• Confidence-gated training for efficient early-exit neural networks [49.78598138251519]
  初期段階のニューラルネットワークは、中間層での確実な予測を可能にすることにより、推論コストを低減する。 我々は,前回の出口が故障した場合のみ,より深い出口からの勾配を条件的に伝播させるパラダイムである信頼性訓練(CGT)を提案する。
  論文  参考訳（メタデータ） (2025-09-22T15:18:21Z)
• Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection [59.042018542376596]
  グラフ異常検出(GAD)は近年注目度が高まりつつあるが、2つの重要な要因があるため、依然として困難である。 Anomaly-Aware Pre-Training and Fine-Tuning (APF)は、GADの課題を軽減するためのフレームワークである。 10のベンチマークデータセットに関する総合的な実験は、最先端のベースラインと比較してAPFの優れたパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-19T09:57:35Z)
• Improving Continual Learning Performance and Efficiency with Auxiliary Classifiers [12.561018201238152]
  ニューラルネットワーク層における中間表現は忘れがちであり、計算を高速化する可能性を強調している。 また,ACを用いて推定平均コストを10～60%削減する。
  論文  参考訳（メタデータ） (2024-03-12T08:33:26Z)
• Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation [80.227864832092]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションで例外的な効果を発揮している。 大規模グラフの重大化は,GNNによるリアルタイム推論において重要な課題となる。 本稿では,オンライン伝搬フレームワークと2つの新しいノード適応伝搬手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T05:03:00Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Federated Learning with Communication Delay in Edge Networks [5.500965885412937]
  フェデレーション学習は、エッジネットワークを通じて機械学習(ML)モデルのトレーニングを分散する潜在的なソリューションとして、大きな注目を集めている。 この研究は、エッジノードとアグリゲータ間の通信遅延という、ネットワークエッジにおけるフェデレーション学習の重要な考慮事項に対処する。 FedDelAvg(フェデレート遅延平均化)と呼ばれる手法が開発され、標準フェデレーション平均化アルゴリズムを一般化し、同期ステップ中に各デバイスで受信した現在のローカルモデルと遅延グローバルモデルとの重み付けを組み込む。
  論文  参考訳（メタデータ） (2020-08-21T06:21:35Z)
• Self-Supervised Dynamic Networks for Covariate Shift Robustness [9.542023122304098]
  Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。 本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
  論文  参考訳（メタデータ） (2020-06-06T19:37:20Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。