論文の概要: Can Hessian-Based Insights Support Fault Diagnosis in Attention-based Models?

• arxiv url: http://arxiv.org/abs/2506.07871v1
• Date: Mon, 09 Jun 2025 15:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.028309
• Title: Can Hessian-Based Insights Support Fault Diagnosis in Attention-based Models?
• Title（参考訳）: Hessian-Based Insightsは注意モデルにおける故障診断を支援するか?
• Authors: Sigma Jahan, Mohammad Masudur Rahman,
• Abstract要約: 注意モデルにおける欠陥診断のためのヘッセン解析の可能性について検討する。 ヘシアン測度は,勾配のみよりも不安定性やピンポイント断層源の局所化を効果的に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 2.9312156642007294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As attention-based deep learning models scale in size and complexity, diagnosing their faults becomes increasingly challenging. In this work, we conduct an empirical study to evaluate the potential of Hessian-based analysis for diagnosing faults in attention-based models. Specifically, we use Hessian-derived insights to identify fragile regions (via curvature analysis) and parameter interdependencies (via parameter interaction analysis) within attention mechanisms. Through experiments on three diverse models (HAN, 3D-CNN, DistilBERT), we show that Hessian-based metrics can localize instability and pinpoint fault sources more effectively than gradients alone. Our empirical findings suggest that these metrics could significantly improve fault diagnosis in complex neural architectures, potentially improving software debugging practices.
• Abstract（参考訳）: 注意に基づくディープラーニングモデルのサイズと複雑さがスケールするにつれて、その欠点の診断はますます困難になっている。 本研究は,注目モデルにおける欠陥診断のためのヘッセン解析の可能性を評価するための実証的研究である。 具体的には, Hessian による洞察を用いて, 注意機構内の脆弱領域(曲率解析)とパラメータ相互依存性(パラメータ相互作用解析)を同定する。 3つの多様なモデル (HAN, 3D-CNN, DistilBERT) の実験を通して, ヘッセンの指標が勾配のみよりも効果的に不安定性やピンポイント断層源を局在させることができることを示した。 私たちの経験から、これらのメトリクスは複雑なニューラルネットワークの障害診断を大幅に改善し、ソフトウェアデバッグのプラクティスを改善できる可能性が示唆されています。

関連論文リスト

• Establishing Causal Relationship Between Whole Slide Image Predictions and Diagnostic Evidence Subregions in Deep Learning [3.5504159526793924]
  Causal Inference Multiple Instance Learning (CI-MIL)は、サブイメージの認識の混乱を軽減するために配布外一般化を利用する。 CI-MILは、その選択された領域が基底真理アノテーションと高い一貫性を示すため、優れた解釈可能性を示す。
  論文  参考訳（メタデータ） (2024-07-24T11:00:08Z)
• Unified Uncertainty Estimation for Cognitive Diagnosis Models [70.46998436898205]
  本稿では,幅広い認知診断モデルに対する統一的不確実性推定手法を提案する。 診断パラメータの不確かさをデータ・アスペクトとモデル・アスペクトに分解する。 本手法は有効であり,認知診断の不確実性に関する有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2024-03-09T13:48:20Z)
• Towards the Identifiability and Explainability for Personalized Learner Modeling: An Inductive Paradigm [36.60917255464867]
  本稿では,エンコーダ・デコーダモデルにインスパイアされた新しい応答効率応答パラダイムに基づく,識別可能な認知診断フレームワークを提案する。 診断精度を損なうことなく,ID-CDFが効果的に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-01T07:18:02Z)
• Deep Reinforcement Learning Framework for Thoracic Diseases Classification via Prior Knowledge Guidance [49.87607548975686]
  関連疾患に対するラベル付きデータの不足は、正確な診断にとって大きな課題となる。 本稿では,診断エージェントの学習を指導するための事前知識を導入する,新しい深層強化学習フレームワークを提案する。 提案手法の性能はNIHX-ray 14とCheXpertデータセットを用いて実証した。
  論文  参考訳（メタデータ） (2023-06-02T01:46:31Z)
• Deep Stable Representation Learning on Electronic Health Records [8.256340233221112]
  CHE(Causal Healthcare Embedding)は、診断と処置の依存関係を取り除くことで、突発的な統計的関係を取り除くことを目的としている。 提案手法は,既存の深層学習モデルをEHR上で拡張可能な,フレキシブルなプラグアンドプレイモジュールとして利用できる。
  論文  参考訳（メタデータ） (2022-09-03T04:10:45Z)
• NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model with Logic Regularization [59.15047491202254]
  症状検査システムは、患者に症状を問い合わせ、迅速で手頃な価格の医療評価を行う。 本稿では,論理正則化を用いたニューラルネットワークの教師付き学習に基づく新しい手法を提案する。 以上の結果から,本手法は診断回数や症状が大きい場合の診断精度において,最も優れた方法であることがわかった。
  論文  参考訳（メタデータ） (2022-06-02T07:57:17Z)
• Analyzing the Effects of Handling Data Imbalance on Learned Features from Medical Images by Looking Into the Models [50.537859423741644]
  不均衡なデータセットでモデルをトレーニングすることは、学習問題にユニークな課題をもたらす可能性がある。 ニューラルネットワークの内部ユニットを深く調べて、データの不均衡処理が学習した機能にどのように影響するかを観察します。
  論文  参考訳（メタデータ） (2022-04-04T09:38:38Z)
• Learn-Explain-Reinforce: Counterfactual Reasoning and Its Guidance to Reinforce an Alzheimer's Disease Diagnosis Model [1.6287500717172143]
  本稿では、診断モデル学習、視覚的説明生成、訓練された診断モデル強化を統一する新しいフレームワークを提案する。 視覚的説明のために,対象ラベルとして識別される入力サンプルを変換する反ファクトマップを生成する。
  論文  参考訳（メタデータ） (2021-08-21T07:29:13Z)
• Bayesian Structural Learning for an Improved Diagnosis of Cyber-Physical Systems [0.8379286663107844]
  本稿では,構造化診断モデルの自動学習のためのスケーラブルアルゴリズムを提案する。 比較アルゴリズムと同等のパフォーマンスを提供し、解釈性を向上させます。
  論文  参考訳（メタデータ） (2021-04-02T11:14:05Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。