論文の概要: In Transformer We Trust? A Perspective on Transformer Architecture Failure Modes
- arxiv url: http://arxiv.org/abs/2602.14318v1
- Date: Sun, 15 Feb 2026 21:57:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 16:22:49.95195
- Title: In Transformer We Trust? A Perspective on Transformer Architecture Failure Modes
- Title（参考訳）: トランスフォーマーの信頼? : トランスフォーマーアーキテクチャの失敗モードの展望
- Authors: Trishit Mondal, Ameya D. Jagtap,
- Abstract要約: トランスフォーマーアーキテクチャは、自然言語処理から科学計算まで、幅広い領域で機械学習に革命をもたらした。
我々は,解釈可能性,説明可能性,敵攻撃に対する堅牢性,公正性,プライバシの総合的なレビューを通じて,それらの信頼性を評価する。
繰り返し発生する構造的脆弱性、ドメイン固有のリスク、そしてトランスフォーマーの信頼性デプロイメントを制限するオープンな研究課題を特定します。
- 参考スコア（独自算出の注目度）: 0.34376560669160394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer architectures have revolutionized machine learning across a wide range of domains, from natural language processing to scientific computing. However, their growing deployment in high-stakes applications, such as computer vision, natural language processing, healthcare, autonomous systems, and critical areas of scientific computing including climate modeling, materials discovery, drug discovery, nuclear science, and robotics, necessitates a deeper and more rigorous understanding of their trustworthiness. In this work, we critically examine the foundational question: \textitHow trustworthy are transformer models?} We evaluate their reliability through a comprehensive review of interpretability, explainability, robustness against adversarial attacks, fairness, and privacy. We systematically examine the trustworthiness of transformer-based models in safety-critical applications spanning natural language processing, computer vision, and science and engineering domains, including robotics, medicine, earth sciences, materials science, fluid dynamics, nuclear science, and automated theorem proving; highlighting high-impact areas where these architectures are central and analyzing the risks associated with their deployment. By synthesizing insights across these diverse areas, we identify recurring structural vulnerabilities, domain-specific risks, and open research challenges that limit the reliable deployment of transformers.
- Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語処理から科学計算まで、幅広い領域で機械学習に革命をもたらした。
しかし、コンピュータビジョン、自然言語処理、医療、自律システム、そして気候モデリング、物質発見、薬物発見、核科学、ロボット工学といった科学計算の重要領域など、高度な分野への展開が進み、彼らの信頼性をより深くより厳密に理解する必要がある。
この研究では、基礎的な疑問を批判的に考察する。
本研究は, 解釈可能性, 説明可能性, 敵攻撃に対する堅牢性, 公正性, プライバシの総合的な検討を通じて信頼性を評価する。
本稿では, 自然言語処理, コンピュータビジョン, 科学・工学分野, ロボット工学, 医学, 地球科学, 材料科学, 流体力学, 核科学, 自動定理証明など, トランスフォーマーモデルによる安全クリティカルな応用の信頼性を体系的に検討する。
これらの多様な領域における洞察を合成することにより、繰り返し発生する構造的脆弱性、ドメイン固有のリスク、そしてトランスフォーマーの信頼性デプロイメントを制限するオープンな研究課題を特定します。
関連論文リスト
- On the Universality of Transformer Architectures; How Much Attention Is Enough? [0.0]
トランスフォーマーは、大きな言語モデル、コンピュータビジョン、強化学習など、多くのAI分野において不可欠である。
本研究はトランスフォーマーにおける普遍性の問題について検討し、最近の進歩をレビューし、最先端の進歩を調査する。
論文 参考訳（メタデータ） (2025-12-20T17:31:59Z) - AI4X Roadmap: Artificial Intelligence for the advancement of scientific pursuit and its future directions [65.44445343399126]
我々は、生物学、化学、気候科学、数学、材料科学、物理学、自動運転研究所、非伝統的コンピューティングにまたがるAI可能な科学を考察する。
多様な信頼性のあるデータの必要性、伝達可能な電子構造と原子間モデル、AIシステムがエンドツーエンドの科学合成に統合される。
ドメイン全体にわたって、大規模な基礎モデル、アクティブラーニング、自動運転車研究所が、予測と検証の間のループを閉じる方法について強調する。
論文 参考訳（メタデータ） (2025-11-26T02:10:28Z) - Autonomous Agents for Scientific Discovery: Orchestrating Scientists, Language, Code, and Physics [82.55776608452017]
大規模言語モデル(LLM)は、人間の科学者、自然言語、コンピュータ言語とコード、物理学との相互作用を編成する柔軟性と汎用性を備えたフレームワークを提供する。
本稿では, LLMを基盤とした科学エージェントの展望と展望と, 科学発見のライフサイクルを変革する上でのその役割について述べる。
オープンな研究課題を特定し、より堅牢で汎用的で適応的な科学エージェントを構築するための有望な方向性を概説する。
論文 参考訳（メタデータ） (2025-10-10T22:26:26Z) - An Investigation of Visual Foundation Models Robustness [0.18352113484137625]
Visual Foundation Models (VFM) はコンピュータビジョンにおいて、オブジェクト検出、画像分類、セグメンテーション、ポーズ推定、モーショントラッキングといった様々なタスクのためのパワーシステムとして普及しつつある。
本稿では,照明,気象条件,センサ特性などの要因に左右される動的環境に適応するために,コンピュータビジョンシステムにおいて欠かせないネットワークロバスト性要件について検討する。
本研究では,分散シフトや雑音,空間的に歪んだ入力,敵攻撃といった現実的な課題に対して,視覚ネットワークの堅牢性を高めるために使用される経験的防御と頑健なトレーニングについて検討する。
論文 参考訳（メタデータ） (2025-08-22T08:54:13Z) - A Survey of Self-Evolving Agents: On Path to Artificial Super Intelligence [87.08051686357206]
大きな言語モデル(LLM)は強力な能力を示しているが、基本的に静的である。
LLMはますますオープンでインタラクティブな環境にデプロイされているため、この静的な性質は重要なボトルネックとなっている。
この調査は、自己進化エージェントの体系的で包括的なレビューを初めて提供する。
論文 参考訳（メタデータ） (2025-07-28T17:59:05Z) - Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems [132.77459963706437]
この本は、モジュール化された脳に触発されたアーキテクチャの中で、インテリジェントなエージェントをフレーミングする、包括的な概要を提供する。
自己向上と適応的な進化のメカニズムを探求し、エージェントが自律的に能力を洗練する方法を探求する。
また、エージェントの相互作用、協力、社会構造から生じる集合的知性についても調べる。
論文 参考訳（メタデータ） (2025-03-31T18:00:29Z) - Transformers and Large Language Models for Efficient Intrusion Detection Systems: A Comprehensive Survey [0.3108011671896571]
本稿では,サイバー脅威検出システムにおけるトランスフォーマーとLCMの利用状況について,包括的分析を行った。
様々なサイバー攻撃の背景情報や、この分野でよく使われるデータセットなど、トランスフォーマーの基本について論じる。
コンピュータネットワーク、IoTデバイス、重要なインフラストラクチャ保護、クラウドコンピューティング、SDN、自動運転車など、TransformerとLLMベースのIDSが実装されているさまざまな環境とアプリケーションについて検討している。
論文 参考訳（メタデータ） (2024-08-14T14:28:11Z) - SoK: Leveraging Transformers for Malware Analysis [8.999677363643224]
トランスフォーマーの導入は、生成AIの基礎となるトランスフォーマーとして、AI研究と応用にとって重要なブレークスルーとなった。
トランスフォーマーのための有望なアプリケーションドメインはサイバーセキュリティ、特にマルウェアドメイン分析である。
本論文は,マルウェア解析用に設計されたトランスフォーマーベースのアプローチを包括的に分析することを目的としている。
論文 参考訳（メタデータ） (2024-05-27T14:14:07Z) - Adventures of Trustworthy Vision-Language Models: A Survey [54.76511683427566]
本稿では,バイス,ロバスト性,解釈可能性の3つの基本原理を用いて,視覚言語変換器の徹底的な検証を行う。
本研究の主な目的は, トランスフォーマーの実用化に伴う複雑さと複雑さを掘り下げることであり, 信頼性と説明責任を高める方法の理解を深めることである。
論文 参考訳（メタデータ） (2023-12-07T11:31:20Z) - Knowledge-Infused Self Attention Transformers [11.008412414253662]
トランスフォーマーベースの言語モデルは、様々な自然言語処理タスクにおいて驚くべき成功を収めた。
本稿では,トランスモデルの異なるコンポーネントに知識を注入するための体系的手法を提案する。
論文 参考訳（メタデータ） (2023-06-23T13:55:01Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳（メタデータ） (2023-06-11T23:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。