論文の概要: NeuroGame Transformer: Gibbs-Inspired Attention Driven by Game Theory and Statistical Physics

• arxiv url: http://arxiv.org/abs/2603.18761v1
• Date: Thu, 19 Mar 2026 11:14:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.106253
• Title: NeuroGame Transformer: Gibbs-Inspired Attention Driven by Game Theory and Statistical Physics
• Title（参考訳）: NeuroGame Transformer:ゲーム理論と統計物理によるギブスに触発された注意
• Authors: Djamel Bouchaffra, Fayçal Ykhlef, Hanene Azzag, Mustapha Lebbah, Bilal Faye,
• Abstract要約: 本稿では,NuroGame Transformer (NGT)を導入し,変圧器の標準的な注意機構を克服する。 トークンの重要性は、2つの相補的なゲーム理論の概念によって定量化され、グローバルな置換に基づく属性に対する共有値と、ローカルな連立レベルの影響に対するBanzhaf指標である。 系のエネルギーは、ギブス分布の下で限界確率として注意重みが現れるイジング・ハミルトンに従う。
• 参考スコア（独自算出の注目度）: 1.2026755069251662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard attention mechanisms in transformers are limited by their pairwise formulation, which hinders the modeling of higher-order dependencies among tokens. We introduce the NeuroGame Transformer (NGT) to overcome this by reconceptualizing attention through a dual perspective: tokens are treated simultaneously as players in a cooperative game and as interacting spins in a statistical physics system. Token importance is quantified using two complementary game-theoretic concepts -- Shapley values for global, permutation-based attribution and Banzhaf indices for local, coalition-level influence. These are combined via a learnable gating parameter to form an external magnetic field, while pairwise interaction potentials capture synergistic relationships. The system's energy follows an Ising Hamiltonian, with attention weights emerging as marginal probabilities under the Gibbs distribution, efficiently computed via mean-field equations. To ensure scalability despite the exponential coalition space, we develop importance-weighted Monte Carlo estimators with Gibbs-distributed weights. This approach avoids explicit exponential factors, ensuring numerical stability for long sequences. We provide theoretical convergence guarantees and characterize the fairness-sensitivity trade-off governed by the interpolation parameter. Experimental results demonstrate that the NeuroGame Transformer achieves strong performance across SNLI, and MNLI-matched, outperforming some major efficient transformer baselines. On SNLI, it attains a test accuracy of 86.4\% (with a peak validation accuracy of 86.6\%), surpassing ALBERT-Base and remaining highly competitive with RoBERTa-Base. Code is available at https://github.com/dbouchaffra/NeuroGame-Transformer.
• Abstract（参考訳）: トランスの標準的な注意機構は、トークン間の高次依存関係のモデリングを妨げるペアワイズ定式化によって制限される。 我々は,NuroGame Transformer (NGT)を導入し,両視点で注意を喚起することでこれを克服する:トークンは協調ゲームにおけるプレイヤーとして同時に扱われ,統計物理システムにおける相互作用スピンとして扱われる。 トークンの重要性は、2つの相補的なゲーム理論の概念によって定量化され、グローバルな置換に基づく属性に対する共有値と、ローカルな連立レベルの影響に対するBanzhaf指標である。 これらは学習可能なゲーティングパラメータを介して組み合わせて外部磁場を形成し、対の相互作用ポテンシャルは相乗的関係を捉える。 系のエネルギーはイジング・ハミルトニアンに従い、平均場方程式によって効率的に計算されるギブス分布の下で辺縁確率として注意重みが現れる。 指数的連立空間にもかかわらずスケーラビリティを確保するため,ギブス分布重み付き重要重み付きモンテカルロ推定器を開発した。 このアプローチは明示的な指数係数を回避し、長い列の数値安定性を確保する。 我々は、補間パラメータによって支配される公平さに敏感なトレードオフを理論的に保証し、特徴付ける。 実験結果から,NuroGame TransformerはSNLIとMNLI整合で高い性能を達成し,その有効性が示された。 SNLIでは、テスト精度は86.4\%(ピーク検証精度は86.6\%)で、ALBERT-Baseを超え、RoBERTa-Baseと高い競争力を維持している。 コードはhttps://github.com/dbouchaffra/NeuroGame-Transformer.comから入手できる。

関連論文リスト

• Neural Network Quantum Field Theory from Transformer Architectures [0.0]
  本稿では,変圧器のアテンションヘッドを用いたユークリッドスカラー量子場理論のニューラルネットワーク構築を提案する。 単一の注意ヘッドに対して、共有ランダムなソフトマックス重みは異なる幅座標を結合し、非ガウス場統計を誘導する。 標準の1/N_h$正規化で多くの独立ヘッドをまとめると、接続された非ガウスの相関子を1/N_h$に抑え、大きな上限でガウスのNN-QFTが得られることを示す。
  論文  参考訳（メタデータ） (2026-02-10T19:02:03Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• Spiking Transformer:Introducing Accurate Addition-Only Spiking Self-Attention for Transformer [15.93436166506258]
  スパイキングニューラルネットワークは、従来のニューラルネットワークに代わる有望なエネルギー効率の代替として登場した。 本稿では,A$2$OS$2$Aの精度付加型スパイク自己注意について紹介する。
  論文  参考訳（メタデータ） (2025-02-28T22:23:29Z)
• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Dissecting the Interplay of Attention Paths in a Statistical Mechanics Theory of Transformers [14.59741397670484]
  本稿では,トランスフォーマーと密接な関係を持つ深層多頭部自己注意ネットワークについて考察する。 このモデルでベイズ学習の統計力学理論を開発する。 合成および実世界のシーケンス分類タスクについて,本研究の成果を確認した。
  論文  参考訳（メタデータ） (2024-05-24T20:34:18Z)
• Gibbs-Duhem-Informed Neural Networks for Binary Activity Coefficient Prediction [45.84205238554709]
  本稿では,Gibs-Duhem-informed Neural Network を用いて,様々な組成における二成分活性係数の予測を行う。 ニューラルネットワークの学習における損失関数にギブス・デュヘム方程式を明示的に含んでいる。
  論文  参考訳（メタデータ） (2023-05-31T07:36:45Z)
• Better Regularization for Sequential Decision Spaces: Fast Convergence Rates for Nash, Correlated, and Team Equilibria [121.36609493711292]
  大規模2プレーヤワイドフォームゲームの計算平衡問題に対する反復的な一階法の適用について検討する。 正則化器を用いて一階法をインスタンス化することにより、相関平衡と元アンティー座標のチーム平衡を計算するための最初の加速一階法を開発する。
  論文  参考訳（メタデータ） (2021-05-27T06:10:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。