論文の概要: Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference

• arxiv url: http://arxiv.org/abs/2608.10288v1
• Date: Mon, 10 Aug 2026 22:45:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.833278
• Title: Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference
• Title（参考訳）: パワーローグラフアテンション:スケールドドット積アテンションの正確な一般化、推論における経験的崩壊
• Abstract要約: 電力法デコーダ表現(PLDR-LLM)からの大規模言語モデルとその注意,PLGA(Power Law Graph Attention) PLGAは、SDPA(Scaled dotproduct attention)の固定された双線形形式を、学習された入力生成双線形演算子$G_LM$に置き換える。 PLGA は、正確に $G_LM=I$; $A_LM$ と $A_P$ の SDPA を含み、Perron-Frobenius 構造は $A_LM$ である。
• 参考スコア（独自算出の注目度）: 0.5076419064097734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Large Language Model from Power Law Decoder Representations (PLDR-LLM) and its attention, Power Law Graph Attention (PLGA), replace the fixed bilinear form of scaled dot-product attention (SDPA) with a learned, input-generated bilinear operator $G_{LM}$, built from a positive tensor $A_{LM}$ by elementwise power laws. The architecture is fully specified, verified against pinned reference releases; claims are labeled theorem, conditional theorem, measurement, or conjecture. Unconditionally: PLGA contains SDPA exactly at $G_{LM}=I$; $A_{LM}$ and $A_P$ are strictly entrywise positive, with Perron-Frobenius structure on $A_{LM}$; the DAG regularizer has the NOTEARS walk-counting form and positivity obstructs exact acyclicity; and, under nonresonance (satisfied by standard rotary frequencies), a commutant criterion identifies which operators preserve relative-position dependence. An inference-collapse theorem: exact input invariance of deductive outputs collapses inference to generalized SDPA with a constant operator. Measured invariance: relative fluctuations of $10^{-6}$ and below; perturbation bounds quantify but do not certify cached inference; the assembled proxy misses the decoding margin. A conditional three-stage mechanism (rotary twirl, concentration, row-map contraction) is measured on a released checkpoint. Blockwise training and scoring under the global Gram are stated with explicit target exposure; on tested samples, block and sequential scoring select identical answers and agree on the published TruthfulQA probability-mass metric within $5\times 10^{-5}$ per item. Self-organized criticality enters as a phenomenological framework with an intrinsic order parameter; open claims become falsifiable conjectures. Selected proof cores are machine-checked in Lean 4.
• Abstract（参考訳）: Power Law Decoder Representations (PLDR-LLM) によるLarge Language Model とその注意点である Power Law Graph Attention (PLGA) は、SDPA (Scaled dot-product attention) の固定された双線形形式を、正のテンソル$A_{LM}$で構成された学習された入力生成双線形演算子$G_{LM}$に置き換える。 アーキテクチャは完全に特定され、ピン付き参照リリースに対して検証され、クレームは定理、条件定理、測定、予想とラベル付けされている。 非条件: PLGA は SDPA を$G_{LM}=I$; $A_{LM}$ と $A_P$ は厳密にエントリー的に正であり、$A_{LM}$ 上のペロン・フロベニウス構造を持つ。 推論-崩壊定理: 導出出力の正確な入力不変性は、定数作用素を持つ一般化SDPAへの推論を崩壊させる。 測定された不変性: 10^{-6}$以下の相対的ゆらぎ;摂動境界は定量化されるが、キャッシュされた推論を証明しない;組み立てられたプロキシはデコードマージンを逃す。 解除されたチェックポイント上で条件付き3段階機構(回転旋回、集中、行マップ収縮)を測定する。 テストされたサンプルでは、ブロックとシーケンシャルのスコアリングが同一の回答を選択し、発行されたTruthfulQA確率質量測定値について、アイテムあたり5ドルから5ドル以内で合意する。 自己組織的臨界性は、本質的な順序パラメータを持つ現象学的枠組みとして登場し、オープンクレームはファルス可能な予想となる。 選択された証明コアはLean 4.0でマシンチェックされる。

関連論文リスト

• Observation Design for Certified Control Authority: Projection--Estimability Separation and Active-Face Equivalence [2.7954473524479275]
  ゲートは認証可能なアクションのみを実行し、その観測がサポートするもののみを認証する。 本稿では,安全な行動の集合を最大化するために,どのように観測を設計すべきかを問う。
  論文  参考訳（メタデータ） (2026-09-05T07:57:04Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• Adaptive operator-generated subspaces for effective many-body Hamiltonians [0.0]
  適応型Clifford-Algebra Subspacesolver (A-CASE) について述べる。 オーバーラップ、ハミルトン、観測可能、および応答行列は、共通のパウリ観測バンクから再構成される。 グループ化された反復は、しきい値、ルートマッチング、スペクトル重み、感受性、拡張を通じて有限ショットの変動を伝播する。
  論文  参考訳（メタデータ） (2026-08-01T09:51:25Z)
• When Rates Are Geometric: Rate-Certificate Transfer for Contact Splittings in Optimization [0.0]
  A contact Hamiltonian $H$ on $J1(mathbbRn)$ is follow the intrinsic decay identity $dot H = -H,partial_s H$. 拡張エネルギー$mathcalE$を$H$から構築すると、$mathcalE$が目標ギャップを制御するたびに、連続時間レート証明書になる。
  論文  参考訳（メタデータ） (2026-07-26T13:12:58Z)
• The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models [47.471225029744424]
  JEPA(Joint-Embedding Predictive Architectures)は、潜在世界モデルの主要な設計である。 本稿では,JEPAのトレーニング目標である予測損失と重み付き埋め込み正規化の選択肢が,有効能動推論(AIF)変動自由エネルギーであるか否かを判定する。
  論文  参考訳（メタデータ） (2026-07-15T08:59:36Z)
• Quasilinear Equivalence Checking for Detector Error Models [0.0]
  検出器エラーモデル(英: Detector Error Model, DEM)は、量子回路におけるエラー機構の構造化された表現である。 我々は、その関連する分類論的意味論を用いて、DEMの方程式理論を開発する。 我々は厳密な正当性を保証するDEM同値性に関する最初の静的決定手順を提供する。
  論文  参考訳（メタデータ） (2026-06-12T17:42:16Z)
• Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair [44.80087038178069]
  本稿では,デコーダのみのトランスフォーマーをネイティブに組み込んだトレーニングフレームワークであるTeleological Reasoning Infilling (TRI)を紹介する。 推測では、TRIは二重システムループ内の外科的修復モジュールとして動作する。 3つのベンチマークの実験では、TRIは全てのタスクで最先端のパフォーマンスを達成し、プロブレム当たりのトークン支出を31.2%削減した。
  論文  参考訳（メタデータ） (2026-06-03T15:58:48Z)
• When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression [1.14219428942199]
  標準的なプラクティスは、信頼性カットオフで校正されたスコアをしきい値にし、ハードラベルを真実として扱うことである。 疑似ラベリングパイプラインのためのキャリブレーション対応診断装置を開発した。 我々は、下流回帰係数において信頼しきい値が誘導する減衰バイアスの閉形式式を導出する。
  論文  参考訳（メタデータ） (2026-05-12T21:49:11Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Observable-Conditioned Backaction in Dynamic Circuits: A Higher-Order Context-Conditioned Kernel for Local Dynamics [0.0]
  中間回路の測定は、動的回路と量子誤差補正に必須のプリミティブである。 デバイスレベルのベンチマークは、この障害を低次のプロキシメトリクスに圧縮することが多い。 これらのプロキシは、マルチスケールの動的回路に対して、運用上不完全である可能性があると論じる。
  論文  参考訳（メタデータ） (2026-03-19T00:59:11Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations [78.23408201652984]
  トップk予測は、マシンラーニング・アズ・ア・サービス、レコメンダ・システム、Web検索など、多くの現実世界のアプリケーションで使用されている。 我々の研究はランダム化平滑化に基づいており、入力をランダム化することで、証明可能なロバストな分類器を構築する。 例えば、攻撃者がテスト画像の5ピクセルを任意に摂動できる場合に、ImageNet上で69.2%の認定トップ3精度を達成する分類器を構築することができる。
  論文  参考訳（メタデータ） (2020-11-15T21:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。