論文の概要: GoldenTransformer: A Modular Fault Injection Framework for Transformer Robustness Research

• arxiv url: http://arxiv.org/abs/2509.10790v1
• Date: Sat, 13 Sep 2025 02:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.778593
• Title: GoldenTransformer: A Modular Fault Injection Framework for Transformer Robustness Research
• Title（参考訳）: GoldenTransformer: トランスフォーマーロバストネス研究のためのモジュール型フォールトインジェクションフレームワーク
• Authors: Luke Howard,
• Abstract要約: ハードウェア障害に対する大規模言語モデルのレジリエンスを評価するための,フォールトインジェクションフレームワークであるGoldenTransformerを提案する。 GoldenTransformerは,さまざまなフォールトクラスをトランスフォーマーベースのモデルに注入する,Pythonベースの統一プラットフォームを提供する。 我々は、GoldenTransformerの技術設計と使用について詳述し、分類および生成タスクに関するいくつかの実例実験を通して実演する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have become the foundation for a wide range of state--of--the--art models across natural language processing, computer vision, and other machine learning domains. Despite their widespread deployment, the robustness of these models under fault conditions remains underexplored. We present GoldenTransformer, a modular and extensible fault injection framework designed to evaluate the resiliency of Large Language Models to induced hardware faults. GoldenTransformer offers a unified Python-based platform for injecting diverse classes of faults--such as weight corruption, activation injections, and attention--level disruptions--into pretrained transformer--based models. Inspired by the GoldenEye simulator for DNNs, our framework focuses on the unique challenges of working with large transformer architectures, including considerations such as structural complexity, latent dependencies, and nonuniform layer definitions. GoldenTransformer is built atop PyTorch and HuggingFace Transformers, and it supports experiment reproducibility, metric logging, and visualization out of the box. We detail the technical design and use of GoldenTransformer and demonstrate through several example experiments on classification and generation tasks. By enabling controlled injection of faults at multiple logical and structural points in a transformer, GoldenTransformer offers researchers and practitioners a valuable tool for model robustness analysis and for guiding dependable system design in real-world LLM applications.
• Abstract（参考訳）: トランスフォーマーは、自然言語処理、コンピュータビジョン、その他の機械学習領域にまたがる幅広い最先端モデルの基盤となっている。 広範囲に展開されているにもかかわらず、これらのモデルが断層条件下での堅牢性は未解明のままである。 我々は,GoldenTransformerを提案する。GoldenTransformerは,大規模言語モデルのハードウェア障害に対するレジリエンスを評価するために設計された,モジュラーで拡張可能なフォールトインジェクションフレームワークである。 GoldenTransformerは、重量減少、アクティベーションインジェクション、アテンションレベルのディスラプションなど、さまざまなフォールトクラスをインジェクトする、Pythonベースの統一プラットフォームを提供する。 DNNのGoldenEyeシミュレータにインスパイアされた我々のフレームワークは、構造複雑性、潜伏依存性、非一様層の定義などを含む、大規模なトランスフォーマーアーキテクチャを扱う際のユニークな課題に焦点を当てている。 GoldenTransformerはPyTorchとHuggingFace Transformerの上に構築されており、実験再現性、メトリクスロギング、ボックス外での可視化をサポートする。 我々は、GoldenTransformerの技術設計と使用について詳述し、分類および生成タスクに関するいくつかの実例実験を通して実演する。 GoldenTransformerは、トランスフォーマー内の複数の論理的および構造的点における障害の制御を可能にすることで、研究者や実践者がモデルロバストネス分析や、現実のLLMアプリケーションにおける信頼性の高いシステム設計を導くための貴重なツールを提供する。

関連論文リスト

• Distilled Transformers with Locally Enhanced Global Representations for Face Forgery Detection [48.263655122968906]
  顔画像の正当性を検出するために,顔偽造検出(FFD)を行う。 本研究では, ローカルおよびグローバルな偽物の両方を抽出する蒸留トランス (DTN) ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-12-28T14:00:27Z)
• A Review of Intelligent Device Fault Diagnosis Technologies Based on Machine Vision [0.0]
  本稿ではトランスフォーマーの構造,動作原理,メリット,特に自己注意機構と並列計算機能について詳述する。 ViT(Vision Transformer)やその拡張など、視覚タスクの精度と効率を改善するために自己認識を活用する重要なTransformerモデルの亜種を強調している。 これらの進歩にもかかわらず、広範なラベル付きデータセットへの依存、重要な計算要求、リソース制限されたデバイスにモデルをデプロイすることの難しさなど、課題は残る。
  論文  参考訳（メタデータ） (2024-12-11T07:06:53Z)
• Transformers Get Stable: An End-to-End Signal Propagation Theory for Language Models [6.809572275782338]
  我々は,変換器モデルによる前方及び後方信号のモーメントを管理する統一信号伝搬理論を開発し,公式を提供する。 我々のフレームワークは、ハイアテンションスコアに関連する、消失/爆発の勾配、ランク崩壊、不安定性を理解し、緩和するために使用することができる。
  論文  参考訳（メタデータ） (2024-03-14T17:59:14Z)
• SimPLR: A Simple and Plain Transformer for Efficient Object Detection and Segmentation [49.65221743520028]
  マルチスケールインダクティブバイアスをアテンション機構にシフトさせることで, プレーン検出器SimPLRが動作可能であることを示す。 我々はSimPLRとスケールアウェアスを併用した実験を通して、単純なアーキテクチャでありながら、マルチスケールビジョントランスフォーマーの代替品と競合することを発見した。
  論文  参考訳（メタデータ） (2023-10-09T17:59:26Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)
• Efficient Transformers: A Survey [98.23264445730645]
  トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。 本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
  論文  参考訳（メタデータ） (2020-09-14T20:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。