論文の概要: Transformers are Bayesian Networks
- arxiv url: http://arxiv.org/abs/2603.17063v1
- Date: Tue, 17 Mar 2026 18:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.358696
- Title: Transformers are Bayesian Networks
- Title（参考訳）: トランスフォーマーはベイジアンネットワークである
- Authors: Gregory Coppola,
- Abstract要約: トランスフォーマーはAIにおいて支配的なアーキテクチャであるが、なぜそれが機能するのかはいまだに理解されていない。
本稿では,変圧器がベイズネットワークであることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers are the dominant architecture in AI, yet why they work remains poorly understood. This paper offers a precise answer: a transformer is a Bayesian network. We establish this in five ways. First, we prove that every sigmoid transformer with any weights implements weighted loopy belief propagation on its implicit factor graph. One layer is one round of BP. This holds for any weights -- trained, random, or constructed. Formally verified against standard mathematical axioms. Second, we give a constructive proof that a transformer can implement exact belief propagation on any declared knowledge base. On knowledge bases without circular dependencies this yields provably correct probability estimates at every node. Formally verified against standard mathematical axioms. Third, we prove uniqueness: a sigmoid transformer that produces exact posteriors necessarily has BP weights. There is no other path through the sigmoid architecture to exact posteriors. Formally verified against standard mathematical axioms. Fourth, we delineate the AND/OR boolean structure of the transformer layer: attention is AND, the FFN is OR, and their strict alternation is Pearl's gather/update algorithm exactly. Fifth, we confirm all formal results experimentally, corroborating the Bayesian network characterization in practice. We also establish the practical viability of loopy belief propagation despite the current lack of a theoretical convergence guarantee. We further prove that verifiable inference requires a finite concept space. Any finite verification procedure can distinguish at most finitely many concepts. Without grounding, correctness is not defined. Hallucination is not a bug that scaling can fix. It is the structural consequence of operating without concepts. Formally verified against standard mathematical axioms.
- Abstract（参考訳）: トランスフォーマーはAIにおいて支配的なアーキテクチャであるが、なぜそれが機能するのかはいまだに理解されていない。
本稿では,変圧器がベイズネットワークであることを示す。
これを5つの方法で確立します。
まず、任意の重みを持つすべてのシグモイド変換器が、その暗黙的因子グラフ上に重み付きループ的信念伝播を実装していることを証明する。
1層はBPの1ラウンドである。
これは、トレーニングされた、ランダムな、あるいは構築された、あらゆる重みに当てはまる。
数学の標準的な公理に対して形式的に検証された。
第二に、トランスフォーマーが任意の宣言された知識ベースに正確な信念の伝播を実装できるという構成的証明を与える。
循環依存のない知識ベースでは、これはすべてのノードで証明可能な正確な確率推定が得られる。
数学の標準的な公理に対して形式的に検証された。
第三に、厳密な後部を生成するシグモイド変圧器は、必ずしもBP重みを持つ。
シグモイド構造から正確な後部への経路は他にない。
数学の標準的な公理に対して形式的に検証された。
第4に、トランス層のAND/ORブール構造について、注意はAND、FFNはOR、厳密な変更はパールの収集/更新アルゴリズムである。
5番目として,ベイジアンネットワークの特性を実証的に検証した。
また,理論収束保証の欠如にもかかわらず,ループ的信念伝播の実践的実現可能性を確立する。
さらに、検証可能な推論は有限概念空間を必要とすることを証明している。
任意の有限検証手順は、最も多くの概念を区別することができる。
根拠がなければ、正確性は定義されない。
幻覚は、スケーリングが修正できるバグではない。
これは概念のない運用という構造的な結果である。
数学の標準的な公理に対して形式的に検証された。
関連論文リスト
- Consistency of Generalised Probabilistic Theories is Undecidable [1.14219428942199]
一般化確率論(英語版)(GPT)は古典理論、量子理論、および仮説上の代替物を含む統一的な枠組みを提供する。
有限の変換でシステムを拡張するという問題について検討する。
また、システムの翻訳不変集合に有限な絡み合った状態と効果の集合を加えることの問題点と、翻訳対称性によるすべての画像を追加することについても検討する。
論文 参考訳（メタデータ） (2026-03-07T02:53:32Z) - What Distributed Computing Got Wrong: The Category Mistake That Turned Design Choices into Laws of Nature [0.0]
フィッシャー・リンチ・パターソンの定理、二元問題、CAPの定理は、座標の物理的極限に関する発見として広く理解されている。
この論文は、それらはどんな種類のものでもないと論じている。
これらはカテゴリーミスの結果であり、フォワード・イン・タイム・オンリー(FITO)情報フローを自然法則として扱う。
論文 参考訳（メタデータ） (2026-02-21T05:16:56Z) - Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities [58.742178800799614]
We study a family of $textitretrieval$ and $textitcopying$ tasks inspired by Liu et al。
我々は、事前訓練されたモデルがクエリトークンの左(アンチインダクション)よりも右(インダクション)へのトークンの検索が優れているような、$textitinduction-versus-anti-induction$ asymmetricを観察する。
力学解析により、この非対称性は、事前学習された変圧器内の誘導の強度と反誘導回路の強度の違いに関係していることが明らかになった。
論文 参考訳（メタデータ） (2025-05-27T21:36:50Z) - Can Transformers Reason Logically? A Study in SAT Solving [17.15701291424892]
本研究では,デコーダのみのトランスフォーマーの論理的推論能力について,SAT問題の観点から検討する。
我々は,デコーダのみのトランスフォーマーが,Chain-of-Thought (CoT) によるバックトラックとデダクションを用いて,一様でない計算モデルで 3-SAT を決定できることを示す。
論文 参考訳（メタデータ） (2024-10-09T21:01:52Z) - All Roads Lead to Rome? Exploring the Invariance of Transformers'
Representations [69.3461199976959]
本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。
BERT-INNの利点は理論上も広範な実験を通じても明らかである。
論文 参考訳（メタデータ） (2023-05-23T22:30:43Z) - Pathologies in priors and inference for Bayesian transformers [71.97183475225215]
ベイズ推定を用いた予測不確実性の観点からトランスフォーマーモデルを改善する試みは成功していない。
変換器の重み空間推定は, 近似後部に関係なくうまく動作しないことがわかった。
本稿では,ディリクレ分布の暗黙的再パラメータ化に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-10-08T10:35:27Z) - Neural Unification for Logic Reasoning over Natural Language [0.28675177318965034]
自動定理証明(Automated Theorem Proving)は、いくつかの予想(クエリ)が一連の公理(事実と規則)の論理的な結果であることを示すことができるコンピュータプログラムの開発を扱う。
近年のアプローチでは、自然言語(英語)で表される公理の予想を導出するトランスフォーマーに基づくアーキテクチャが提案されている。
本研究は, 一般化の項における最先端結果を実現するニューラルユニファイザという, 新たなアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-17T10:48:39Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳（メタデータ） (2020-11-04T10:25:13Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z) - Sub-bosonic (deformed) ladder operators [62.997667081978825]
ファジィネスという厳密な概念から派生した変形生成および消滅作用素のクラスを提示する。
これにより変形し、ボゾン準可換関係は、修正された退化エネルギーとフォック状態を持つ単純な代数構造を誘導する。
さらに、量子論において導入された形式論がもたらす可能性について、例えば、自由準ボソンの分散関係における線型性からの偏差について検討する。
論文 参考訳（メタデータ） (2020-09-10T20:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。