論文の概要: From Transformers to Weighted Automata: Towards the Verification of Large Language Models

• arxiv url: http://arxiv.org/abs/2610.04569v1
• Date: Sat, 03 Oct 2026 15:04:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:41:46.369714
• Title: From Transformers to Weighted Automata: Towards the Verification of Large Language Models
• Title（参考訳）: トランスフォーマーから重み付きオートマタへ:大規模言語モデルの検証に向けて
• Abstract要約: 大きな言語モデル(LLM)は、安全クリティカルな設定でますますデプロイされているが、そのブラックボックスの性質は、それらの振る舞いに関する正式な保証を提供することを困難にしている。 既存の検証アプローチは、主に経験的探索とテストに依存している。 我々は、形式言語理論の古典的モデルであるトランスフォーマーと重み付きオートマトンの間の原則的ブリッジを確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed in safety-critical settings, yet their black-box nature makes it difficult to provide formal guaranties about their behavior. Existing verification approaches rely primarily on empirical probing and testing, leaving open the question of how to reason rigorously about general-purpose trans- former architectures. In this work, we establish a principled bridge between transformers and weighted automata, a classical model from formal language theory. This connection enables us to transfer verification tools from automata the- ory to the analysis of LLMs. Our contributions are twofold: First, we develop a formal correspondence between transformer architectures and weighted automata over reals, showing how distributional properties of LLMs can be captured within this framework. Second, we introduce an identity testing algorithm for weighted automata that provides a statis- tical method for distinguishing whether two stochastic models define the same distribution up to a tolerance threshold. This work provides the first formal bridge between modern neural se- quence models and classical automata theory, clarifying both the poten- tial and the computational challenges for rigorous LLM verification.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、安全クリティカルな設定でますますデプロイされているが、そのブラックボックスの性質は、それらの振る舞いに関する正式な保証を提供することを困難にしている。 既存の検証アプローチは、主に実証的な探索とテストに依存しており、どのようにして汎用のトランザクショナルアーキテクチャを厳格に推論するかという疑問が残されている。 本研究では,形式言語理論の古典的モデルであるトランスフォーマーと重み付きオートマトンとの原則的ブリッジを確立する。 この接続により,自動オリーからLLM解析への検証ツールの転送が可能となる。 まず、変換器アーキテクチャと実数に対する重み付きオートマトンとの形式的対応を開発し、LLMの分布特性をこのフレームワーク内でどのように捉えるかを示す。 次に、2つの確率モデルが同じ分布を許容しきい値まで定義するかどうかを識別するスタティス・ティカル法を提供する重み付きオートマトンに対するアイデンティティテストアルゴリズムを提案する。 この研究は、現代のニューラルシークエンスモデルと古典的オートマトン理論の間の最初の公式な橋渡しを提供し、厳密なLLM検証におけるポテンティルと計算上の課題を明らかにした。

関連論文リスト

• Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
  大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。 我々はGated Delta Networkのスケーリングルールを導出する。 言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
  論文  参考訳（メタデータ） (2026-06-02T08:45:24Z)
• LLM-driven design of physics-constrained constitutive models: two agents are better than one [0.0]
  モデル生成のためのマルチエージェントLPM駆動型アプローチを初めて導入する。 作成エージェントがデータに合わせたモデルを提案し、インスペクタエージェントが9つの物理的制約に対して各提案を監査する。 この概念を、人工ニューラルネットワーク(CANN)で実証し、脳組織、実験ゴム、合成ゴムでベンチマークする。
  論文  参考訳（メタデータ） (2026-05-22T15:27:09Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Tractable Asymmetric Verification for Large Language Models via Deterministic Replicability [0.6117371161379209]
  大規模言語モデル(LLM)の展望は、動的でマルチエージェントなシステムへと急速にシフトします。 本稿では, トラクタブルな非対称な作業を実現するための検証フレームワークを提案する。 対象検定は全再生の12倍以上の速さで行うことができる。
  論文  参考訳（メタデータ） (2025-09-14T03:30:06Z)
• Automata Extraction from Transformers [5.419884861365132]
  トランスフォーマーモデルに特化して設計された自動抽出アルゴリズムを提案する。 トランスフォーマーモデルをブラックボックスシステムとして扱い、内部の潜在表現の変換プロセスを通してモデルを追跡する。 次に、L*アルゴリズムのような古典的な教育的手法を用いて、それらを決定論的有限状態オートマトンと解釈する。
  論文  参考訳（メタデータ） (2024-06-08T20:07:24Z)
• Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers [12.986126243018452]
  変換器は、特徴属性に使用される線形または付加的な代理モデルを表現することができず、構造的に不可能である。 我々は,変圧器フレームワークに特化して設計された新しい代理モデルであるSoftmax-Linked Additive Log Odds Model (SLALOM)を紹介する。 SLALOMが競合する代理モデルよりもはるかに高い忠実さで説明できることを示すことで、SLALOMの独特な効率品質曲線を強調した。
  論文  参考訳（メタデータ） (2024-05-22T11:14:00Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。