論文の概要: Beyond Accuracy: Prefix-Invariant Realizations of Low-Precision Fast Matrix Multiplication

• arxiv url: http://arxiv.org/abs/2609.39816v1
• Date: Wed, 30 Sep 2026 14:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.883825
• Title: Beyond Accuracy: Prefix-Invariant Realizations of Low-Precision Fast Matrix Multiplication
• Title（参考訳）: 精度を超える: 高精度高速行列乗算のプリフィックス不変実現
• Abstract要約: トークン行を混ぜた丸めの和は、初期の言語モデル出力に後続のトークンからのコントリビューションを残せることを示す。 Qwen2.5-14B-Instructでは、2つの高速なFP8実現法が通常の精度で修復された。 トークン列を独立に量子化する有界整数符号上での2レベルストラッセンの証明付き実現法を構築する。
• 参考スコア（独自算出の注目度）: 13.460819902711838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast matrix multiplication saves multiplications through exact cancellation, but rounding sums that mix token rows can leave contributions from later tokens in earlier language model outputs. This threatens prefix invariance, which multiple-choice likelihood scoring relies on: a scored likelihood must depend only on its allowed prefix. On Qwen2.5-14B-Instruct, two fast FP8 realizations repaired to ordinary-looking accuracy still change the answers chosen by likelihood on 5.83% and 10.00% of 240 OpenBookQA items when only the text after the allowed prefix is replaced with the bf16 model's own greedy continuation. Both row-local controls, the bf16 model and a deployed FP8 matrix multiplication kernel, change none. Accuracy thus does not certify prefix invariance, and the stability criteria we analyze cannot tell realizations apart: across all 512 sign variants of two-level Strassen they stay constant while teacher-forced perplexities span a 772.4$\times$ range on the same model. We therefore construct certified realizations of two-level Strassen on bounded integer codes that quantize token rows independently, then mix and cancel exactly before rescaling, using 49 block multiplications instead of 64. Our certificate guarantees bitwise equality to a prescribed row-local classical int8 operator at the same quantization specification, so every certified realization inherits its prefix invariance. Certification thus turns realization choice into a pure cost decision: which certified realization runs can no longer change a single scored likelihood.
• Abstract（参考訳）: 高速な行列乗算は正確なキャンセルによって乗算を節約するが、トークン行を混ぜた丸めの和は、後のトークンからのコントリビューションを以前の言語モデル出力に残すことができる。 これはプレフィックスの不変性を脅かし、複数の選択可能性スコアが依存する: スコア付き確率は許容されるプレフィックスにのみ依存しなければならない。 Qwen2.5-14B-インストラクタでは、通常の精度で修復された2つの高速なFP8実現は、許可されたプレフィックス後のテキストのみをbf16モデル独自のグレディ継続に置き換える場合、240 OpenBookQA項目の5.83%と10.00%の確率で答えを変更する。 行ローカル制御、bf16モデル、デプロイされたFP8行列乗算カーネルはいずれも変更されていない。 したがって、精度はプレフィックスの不変性を証明せず、我々が分析した安定性基準は、同じモデル上で772.4$\times$範囲にまたがっているのに対して、2レベルストラッセンの512の符号変種は一定である。 そこで我々は,64の代わりに49ブロック乗算を用いて,トークン列を独立に量子化する有界整数符号上で2レベルシュトラッセンの証明された実現法を構築した。 我々の証明は、同じ量子化仕様において、所定の行ローカルな古典的 int8 演算子にビット単位で等しいことを保証しているので、認定されたすべての実現はそのプレフィックス不変性を継承する。 したがって、認証は実現の選択を純粋なコスト決定に変えます。

関連論文リスト

• When Can Prefixes Compile LoRA? Exact Resource-Capped Tests for Frozen Attention [1.2891210250935148]
  回答はアダプタのターゲットによって3つの条件で異なることを示す。 まず、可観測性:ある因果的読み出しにおいて、すべての独立キー-値プレフィックスは、クエリ、アテンションパーティション、値数値演算子を通してのみコンテンツを見る。 第二に、実現可能性: 共通のクエリでは、任意のプレフィックスは正確に2つの集約変数に還元される。 第3に,アフィンクエリエクスポージャーによる実装: 2r$符号付きスロットはランク-r$値の更新を近似するが,その値は$O(-3/2)$として増加する。
  論文  参考訳（メタデータ） (2026-09-29T05:40:21Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• Nested Byte-Level Vocabularies Are Cheap to Deploy and Expensive to Share: A Pre-Registered Negative Result [0.0]
  一つの言語モデルが複数の語彙サイズで動作可能であることを示す。 コントロールトークンはアクティブサイズを示し、その埋め込みと出力ヘッドをスライスすることで任意のトレーニングされたサイズにデプロイされる。 キャップトークンも出力制限もないコントロールも同じように堅牢であり、条件付けよりも多粒度トレーニングに寄与する。
  論文  参考訳（メタデータ） (2026-08-28T10:13:32Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation [0.0]
  2つの制御された設定で強みのみの仮説をテストする。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。 実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
  論文  参考訳（メタデータ） (2026-03-17T18:02:28Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。