Fugu-MT 論文翻訳(概要): Taxonomy of Faults in Attention-Based Neural Networks

論文の概要: Taxonomy of Faults in Attention-Based Neural Networks

arxiv url: http://arxiv.org/abs/2508.04925v1
Date: Wed, 06 Aug 2025 23:20:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.66011
Title: Taxonomy of Faults in Attention-Based Neural Networks
Title（参考訳）: 注意に基づくニューラルネットワークにおける断層の分類
Authors: Sigma Jahan, Saurabh Singh Rajput, Tushar Sharma, Mohammad Masudur Rahman,
Abstract要約: 注意型ニューラルネットワーク(ABNN)における障害の包括的実証的研究について紹介する。私たちの研究は、GitHub、Hugging Face、Stack Overflowを含む10のフレームワークにわたる96のプロジェクトから収集された555の現実世界の障害の体系的な分析に基づいています。以上の結果から,ABNNの欠陥の半数以上が注目アーキテクチャに特有のメカニズムから生じていることが示唆された。
参考スコア（独自算出の注目度）: 4.977315680961104
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Attention mechanisms are at the core of modern neural architectures, powering systems ranging from ChatGPT to autonomous vehicles and driving a major economic impact. However, high-profile failures, such as ChatGPT's nonsensical outputs or Google's suspension of Gemini's image generation due to attention weight errors, highlight a critical gap: existing deep learning fault taxonomies might not adequately capture the unique failures introduced by attention mechanisms. This gap leaves practitioners without actionable diagnostic guidance. To address this gap, we present the first comprehensive empirical study of faults in attention-based neural networks (ABNNs). Our work is based on a systematic analysis of 555 real-world faults collected from 96 projects across ten frameworks, including GitHub, Hugging Face, and Stack Overflow. Through our analysis, we develop a novel taxonomy comprising seven attention-specific fault categories, not captured by existing work. Our results show that over half of the ABNN faults arise from mechanisms unique to attention architectures. We further analyze the root causes and manifestations of these faults through various symptoms. Finally, by analyzing symptom-root cause associations, we identify four evidence-based diagnostic heuristics that explain 33.0% of attention-specific faults, offering the first systematic diagnostic guidance for attention-based models.
Abstract（参考訳）: 注意機構は、ChatGPTから自動運転車まで、そして大きな経済的影響を駆動する、現代のニューラルアーキテクチャーの中核にある。しかし、ChatGPTの非センセーショナルなアウトプットや、注意重みエラーによるGeminiの画像生成の停止といった目立った失敗は、重大なギャップを浮き彫りにした。このギャップは、実用的な診断ガイダンスのない実践者を残します。このギャップに対処するため,注意型ニューラルネットワーク(ABNN)における障害の総合的研究を行った。私たちの研究は、GitHub、Hugging Face、Stack Overflowなど10のフレームワークにわたる96のプロジェクトから収集された555の現実世界の障害の体系的な分析に基づいています。そこで本研究では,既存の研究で採集されていない7つの注意特化断層カテゴリーからなる新しい分類法を開発した。以上の結果から,ABNNの欠陥の半数以上が注目アーキテクチャに特有のメカニズムから生じていることが示唆された。さらに, 種々の症状により, 根本原因とこれらの欠陥の顕在化を解析した。最後に,症状の根本原因関連を解析することにより,33.0%の注意障害を説明できるエビデンスベースの診断ヒューリスティックを4つ同定し,注意モデルに対する最初の体系的診断ガイダンスを提供する。

関連論文リスト

Can Hessian-Based Insights Support Fault Diagnosis in Attention-based Models? [2.9312156642007294]
注意モデルにおける欠陥診断のためのヘッセン解析の可能性について検討する。ヘシアン測度は,勾配のみよりも不安定性やピンポイント断層源の局所化を効果的に行うことができることを示す。
論文参考訳（メタデータ） (2025-06-09T15:40:32Z)
Benign Overfitting in Token Selection of Attention Mechanism [34.316270145027616]
ラベルノイズを伴う分類問題における注意機構の学習力学と一般化能力について検討した。本稿では,信号対雑音比(SNR)の特性から,アテンション機構のトークン選択が過度に適合することを示す。我々の研究は、オーバーフィッティングの初期段階の後に一般化の獲得が遅れていることも示している。
論文参考訳（メタデータ） (2024-09-26T08:20:05Z)
Progressing from Anomaly Detection to Automated Log Labeling and Pioneering Root Cause Analysis [53.24804865821692]
本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
論文参考訳（メタデータ） (2023-12-22T15:04:20Z)
Investigating Human-Identifiable Features Hidden in Adversarial Perturbations [54.39726653562144]
我々の研究では、最大5つの攻撃アルゴリズムを3つのデータセットにわたって探索する。対人摂動における人間の識別可能な特徴を同定する。画素レベルのアノテーションを用いて、そのような特徴を抽出し、ターゲットモデルに妥協する能力を実証する。
論文参考訳（メタデータ） (2023-09-28T22:31:29Z)
Causal Disentanglement Hidden Markov Model for Fault Diagnosis [55.90917958154425]
本研究では, 軸受破壊機構の因果性を学ぶために, 因果解離隠れマルコフモデル (CDHM) を提案する。具体的には、時系列データをフル活用し、振動信号を断層関連要因と断層関連要因に段階的に分解する。アプリケーションの範囲を広げるために、学習された非絡み合った表現を他の作業環境に転送するために、教師なしのドメイン適応を採用する。
論文参考訳（メタデータ） (2023-08-06T05:58:45Z)
Hierarchical Graph Neural Networks for Causal Discovery and Root Cause Localization [52.72490784720227]
REASONはTopological Causal DiscoveryとPersonal Causal Discoveryで構成されている。 Topological Causal Discoveryコンポーネントは、根本原因を辿るために断層伝播をモデル化することを目的としている。個々の因果発見コンポーネントは、単一のシステムエンティティの突然の変化パターンのキャプチャに重点を置いている。
論文参考訳（メタデータ） (2023-02-03T20:17:45Z)
Attention mechanisms for physiological signal deep learning: which attention should we take? [0.0]
我々は,4つのアテンション機構(例えば,圧縮励起,非局所的,畳み込みブロックアテンションモジュール,マルチヘッド自己アテンション)と3つの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験的に解析した。生理信号深層学習モデルの性能と収束性に関する複数の組み合わせを評価した。
論文参考訳（メタデータ） (2022-07-04T07:24:08Z)
Self-Healing Robust Neural Networks via Closed-Loop Control [23.360913637445964]
典型的な自己修復機構は人体の免疫系である。本稿では,ニューラルネットワークの学習後の自己修復について考察する。本研究では,様々な攻撃や摂動によるエラーを自動的に検出し,修正するクローズドループ制御式を提案する。
論文参考訳（メタデータ） (2022-06-26T20:25:35Z)
Attention, please! A survey of Neural Attention Models in Deep Learning [0.0]
ディープラーニングの最先端は、いくつかのアプリケーションドメインの神経注意モデルによって表されます。この調査は、神経注意モデルの発展の包括的な概要と分析を提供します。
論文参考訳（メタデータ） (2021-03-31T02:42:28Z)
ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
論文参考訳（メタデータ） (2021-03-26T02:42:38Z)
Improving Automated Visual Fault Detection by Combining a Biologically Plausible Model of Visual Attention with Deep Learning [0.7646713951724012]
我々は半導体製造領域におけるウエハの欠陥パターンの自動検出の改善に留意する。ドメインの1つの問題は、欠陥がしばしば非常に小さく、チップまたはウェーハのより大きなサイズ内で検出されなければならないことです。本稿では,視覚注意と深層ニューラルネットワークのハイブリッドシステムを提案する。
論文参考訳（メタデータ） (2021-02-13T16:50:41Z)
Graph Backdoor [53.70971502299977]
GTAはグラフニューラルネットワーク(GNN)に対する最初のバックドア攻撃である。 GTAは、トポロジカル構造と記述的特徴の両方を含む特定の部分グラフとしてトリガーを定義する。トランスダクティブ(ノード分類など)とインダクティブ(グラフ分類など)の両方のタスクに対してインスタンス化することができる。
論文参考訳（メタデータ） (2020-06-21T19:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。