論文の概要: ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models

• arxiv url: http://arxiv.org/abs/2609.34457v2
• Date: Tue, 06 Oct 2026 02:22:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.218274
• Title: ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models
• Title（参考訳）: ZonoGPT:大規模GPTモデルの検証のための抽象ドメインを目指して
• Abstract要約: ZonoGptは、ネットワークの深さに依存しない空間の複雑さを維持する大きなトランスフォーマーを検証するための抽象ドメインである。 これは、標準アーキテクチャの検証、公式のHuggingFaceモデルへのスケーリング(24ブロック、300M+パラメータ)、テキストおよびビジョンタスク間で1,339のインスタンスの検証に成功した最初のアプローチである。
• 参考スコア（独自算出の注目度）: 7.480478840881969
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformer-based models are widely used for reasoning, coding, and multimodal agentic tasks. To provide formal assurance of desirable behaviors, such as robustness, safety, and fairness, neural network verification techniques prove required properties and provide auditable guarantees before deployment. However, prior work remains limited to small or restricted Transformers, and maintaining precision across deep models remains challenging. In this work, we introduce ZonoGpt, an abstract domain for verifying large transformers that maintains a space complexity independent of network depth. ZonoGpt uses a structured zonotope and a generator reduction mechanism to efficiently preserve correlations. To maintain precision, it introduces block-specific fused transformations for Attention and LayerNorm that retain feature relations, along with an affine transform for GELU that preserves generator relations. These mechanisms enable ZonoGpt to be the first approach to verify standard architectures, scaling to official HuggingFace models up to GPT-2 Medium (24 blocks, 300M+ parameters) and successfully verifying 1,339 instances across text and vision tasks.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、推論、コーディング、マルチモーダルエージェントタスクに広く使われている。 堅牢性、安全性、公正性などの望ましい行動の正式な保証、ニューラルネットワーク検証技術が要求される特性を証明し、展開前に監査可能な保証を提供する。 しかし、以前の作業は小さいか制限されたトランスフォーマーに限られており、深層モデルの精度を維持することは依然として困難である。 本研究では,ネットワーク深度に依存しない空間の複雑さを保った大規模変圧器の検証を行う抽象ドメインであるZanoGptを紹介する。 ZonoGptは構造化されたゾノトープとジェネレータ還元機構を使用して相関を効率的に保存する。 精度を維持するために、AttentionとLayerNormのためのブロック固有の融合変換と、ジェネレータ関係を保存するGELUのためのアフィン変換を導入している。 これらのメカニズムにより、ZanoGptは標準アーキテクチャを検証する最初のアプローチとなり、公式のHuggingFaceモデルからGPT-2 Medium(24ブロック、300M+パラメータ)まで拡張し、テキストとビジョンタスクで1,339のインスタンスを検証することに成功した。

関連論文リスト

• Successive Capacity Growth: Task-Complexity-Driven Width and Depth Expansion for Vision Transformer Encoders in JEPA World Models [0.0]
  世界モデリングのためのJEPA(Joint-Embedding Predictive Architectures)は通常、単純なタスクのために過剰に計画された固定サイズのビジョントランスフォーマーエンコーダを使用する。 本稿では,最小エンコーダ(1ヘッド,2レイヤ,283Kパラメータ)から始まり,その幅を漸進的に成長させる手法である逐次容量成長(SCG)を提案する。 60次元多目的ダイナミックスタスクでは、SCGは自然に深さ拡大をトリガーし、固定された小さなベースライン上での予測損失を20.3%改善する。 2次元ナビゲーションタスクにおいて、単一幅展開は固定大モデルよりも23%改善する
  論文  参考訳（メタデータ） (2026-08-27T17:04:57Z)
• Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
  大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。 我々はGated Delta Networkのスケーリングルールを導出する。 言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
  論文  参考訳（メタデータ） (2026-06-02T08:45:24Z)
• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [81.93945602120453]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Repeat After Me: Transformers are Better than State Space Models at Copying [53.47717661441142]
  一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
  論文  参考訳（メタデータ） (2024-02-01T21:44:11Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。