論文の概要: Measuring Uncertainty in Transformer Circuits with Effective Information Consistency

• arxiv url: http://arxiv.org/abs/2509.07149v1
• Date: Mon, 08 Sep 2025 18:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.090281
• Title: Measuring Uncertainty in Transformer Circuits with Effective Information Consistency
• Title（参考訳）: 情報整合性を考慮した変圧器回路の不確かさの測定
• Authors: Anatoly A. Krasnovsky,
• Abstract要約: 本研究では,トランスフォーマー回路のシャーフ/コホモロジーと因果出現の視点を開発する。 EICSは(i)局所ジャコビアンとアクティベーションから計算された正規化棚の不整合と(ii)回路レベルの因果発生のためのガウスEIプロキシを組み合わせる。 本稿では,スコアの解釈,計算オーバーヘッド(高速かつ高精度なモード),およびおもちゃの健全性チェック分析に関する実践的ガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Mechanistic interpretability has identified functional subgraphs within large language models (LLMs), known as Transformer Circuits (TCs), that appear to implement specific algorithms. Yet we lack a formal, single-pass way to quantify when an active circuit is behaving coherently and thus likely trustworthy. Building on prior systems-theoretic proposals, we specialize a sheaf/cohomology and causal emergence perspective to TCs and introduce the Effective-Information Consistency Score (EICS). EICS combines (i) a normalized sheaf inconsistency computed from local Jacobians and activations, with (ii) a Gaussian EI proxy for circuit-level causal emergence derived from the same forward state. The construction is white-box, single-pass, and makes units explicit so that the score is dimensionless. We further provide practical guidance on score interpretation, computational overhead (with fast and exact modes), and a toy sanity-check analysis. Empirical validation on LLM tasks is deferred.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、特定のアルゴリズムを実装しているように見える大きな言語モデル(LLM)内の機能部分グラフ(Transformer Circuits (TCs))を特定した。 しかし、アクティブな回路が整合的に動作し、従って信頼できるときに定量化するための正式な単一パスの方法が欠如している。 従来のシステム理論的な提案に基づいて,本論文では,TCsの棚/コホモロジーと因果的出現の視点を専門とし,有効情報一貫性スコア(EICS)を導入している。 EICSが組み合わさる 一 局所ジャコビアン及びアクティベーションから計算された正規化棚の不整合 (ii)同じ前方状態から導かれる回路レベルの因果発生に対するガウス的EIプロキシ。 構成はホワイトボックスでシングルパスであり、スコアが無次元になるようにユニットを明示する。 さらに、スコアの解釈、計算オーバーヘッド(高速で正確なモード)、おもちゃの健全性チェック分析に関する実践的なガイダンスを提供する。 LLMタスクの実証検証は延期される。

関連論文リスト

• Logical accreditation: a framework for efficient certification of fault-tolerant computations [1.1068280788997429]
  論理量子ビット上で実行される量子計算を効率的に認証するフレームワークである論理認証を導入する。 我々のプロトコルは一般的なノイズモデルに対して堅牢であり、一般に量子誤り訂正符号の性能解析で考慮されるものよりもはるかに多い。
  論文  参考訳（メタデータ） (2025-08-07T15:53:05Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [58.018629320233174]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングダイナミクスを積極的に探求している。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• A Smooth Transition Between Induction and Deduction: Fast Abductive Learning Based on Probabilistic Symbol Perception [81.30687085692576]
  確率的シンボル知覚(PSP)と呼ばれる最適化アルゴリズムを導入し,誘導と推論のスムーズな遷移を実現する。 実験は有望な結果を実証する。
  論文  参考訳（メタデータ） (2025-02-18T14:59:54Z)
• Stabilizer circuit verification [0.0]
  そこで本研究では,安定化回路の完全特徴化と完全検証を行うための,一組の効率的な古典アルゴリズムを提案する。 安定化回路の等価性をチェックするアルゴリズムを提案する。 全てのアルゴリズムは、対応する回路表現間の測定結果の関係を提供する。
  論文  参考訳（メタデータ） (2023-09-15T18:06:17Z)
• Gaining confidence on the correct realization of arbitrary quantum computations [0.0]
  本稿では,任意の普遍量子計算を実現するための検証プロトコルを提案する。 プロトコルの導出は、古典的に効率的にシミュレートできるマッチゲート計算が、追加のリソースを補うと普遍になるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-08-22T11:47:12Z)
• Efficient Computation of Counterfactual Bounds [44.4263314637532]
  我々は,構造因果モデルのサブクラスにおけるクレダルネットのアルゴリズムを用いて,正確な反ファクト境界を計算する。 近似の精度を信頼性のある間隔で評価する。
  論文  参考訳（メタデータ） (2023-07-17T07:59:47Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。