論文の概要: One QK Channel, Many Sources: Guarding Low-Precision Attention Collapse

• arxiv url: http://arxiv.org/abs/2608.02091v1
• Date: Mon, 03 Aug 2026 11:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.516159
• Title: One QK Channel, Many Sources: Guarding Low-Precision Attention Collapse
• Title（参考訳）: QKチャンネルの1つ、多くの情報源
• Abstract要約: 個別の低精度エラーは、同じ障害を引き起こし、各ソースが独自の修復を必要としているか、あるいは1つの共有ルートがブロック可能であるかは、はっきりしないままである。 再生したGPT-2クラスの崩壊をストリーミングソフトマックスアキュムレータに分離し,fp32の蓄積で修復する。 外部に注意を向けたエラーは、同じクエリキー(QK)スペクトルランウェイを駆動する一方で、ソースの障害をアクティブにすることでトレーニングを安定させるのはQKのみである。
• 参考スコア（独自算出の注目度）: 13.460819902711838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A bfloat16 transformer can train normally for many steps and then collapse abruptly. Distinct low-precision errors can trigger the same failure, leaving unclear whether each source needs its own repair or one shared route can be blocked. We isolate a reproduced GPT-2-class collapse to the streaming-softmax accumulator, where fp32 accumulation repairs it, and use the fault as an assay for moving controlled errors across sources. Errors placed outside attention still drive the same query-key (QK) spectral runaway, while correcting only QK keeps training stable with the source fault active. This source-channel dissociation shows that fault source is not failure channel. It holds across the tested architectures and scales and reproduces on a second GPU architecture. A causal probe projects each update off the current QK weights' leading three singular directions: the query projection's largest singular value stays at 11.1, whereas removing equal energy elsewhere leaves it at 237. The QK channel therefore drives the early runaway rather than merely tracking it. Entry depends on temporal sign-coherence across steps, not aggregate deviation. QK-Guard closes the channel with a dormant controller that switches on parameter-free QK normalization when attention-logit saturation begins. It contains every tested runaway and matches always-on QK normalization over 60k steps, while non-QK actions at the same trigger fail. The results support intervention at the shared QK locus rather than separate repair at each fault source.
• Abstract（参考訳）: bfloat16変圧器は、多くのステップで正常に訓練し、突然崩壊する。 個別の低精度エラーは、同じ障害を引き起こし、各ソースが独自の修復を必要としているか、あるいは1つの共有ルートがブロック可能であるかは、はっきりしないままである。 再生したGPT-2級崩壊をストリーミングソフトマックスアキュムレータに分離し,fp32の蓄積で修復する。 外部の注意を払っているエラーは、同じクエリキー(QK)スペクトルランウェイを駆動する一方で、QKのみの修正は、ソースの障害をアクティブに保ち、トレーニングを安定させる。 このソースチャネル解離は、障害ソースが障害チャネルではないことを示す。 テスト対象のアーキテクチャやスケール、第2のGPUアーキテクチャ上での再現などにわたって保持される。 因果プローブは、現在のQK重みの更新をそれぞれ予測し、クエリプロジェクションの最大の特異値は11.1であり、他の場所では同等のエネルギーを除去すると237となる。 したがって、QKチャネルは単に追跡するのではなく、早期逃亡を駆動する。 エントリーはステップ間の時間的シグネチャコヒーレンスに依存しており、集合的偏差ではない。 QK-Guardは、アテンションログ飽和開始時にパラメータフリーQK正規化を切り替える休眠コントローラでチャンネルを閉じる。 テストされたすべてのランウェイを含み、60kステップ以上のQK正規化と一致しますが、同じトリガでの非QKアクションは失敗します。 その結果、各障害源での個別の修復ではなく、共有QK軌跡での介入を支援する。

関連論文リスト

• Universal recovery in approximate quantum error correction [53.73800998389749]
  ユニバーサルリカバリ(Universal recovery)とは、エラーチャネルのファミリー全体を修正する単一のリカバリマップの存在である。 正確な量子誤差補正において、線形性は、与えられたエラーセットを補正するコードもまた、クラウス作用素がその線形スパンにある全てのチャネルを補正することを保証している。 1つのリカバリマップは、与えられたエラーセットによって制御される全てのチャネルを同時に修正できることを示す。
  論文  参考訳（メタデータ） (2026-08-29T00:25:52Z)
• Label and Recover Coherent Errors: Randomized Compiling Does Not Destroy Coherent-Error Information [0.0]
  ランダム化コンパイル(Randomized Comppiling、RC)は、コヒーレント(システム)ゲートエラーをノイズに変換する標準的な手法である。 コヒーレントエラー情報RCは、平均出力から除去され、ツワールラベルに完全保存される。 ラベルを保持してラベル-アウトカム相関を形成すると、量子フィッシャー情報限界におけるコヒーレントエラーパラメータが回復する。
  論文  参考訳（メタデータ） (2026-07-29T10:54:45Z)
• QK-Normed MLA: QK normalization without full key caching [65.51862319225098]
  QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。 最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
  論文  参考訳（メタデータ） (2026-06-15T07:16:30Z)
• How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures [0.0]
  VLAアーキテクチャは、モーター・コマンドレベルで根本的に異なる予測可能な方法で失敗する。 我々は、よく知られた離散/連続的なVLAの区別の結果を定量化する。
  論文  参考訳（メタデータ） (2026-05-27T16:44:55Z)
• LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
  大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。 ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。 そこで我々はLookAhead Quantization (LAQuant) を提案する。
  論文  参考訳（メタデータ） (2026-05-09T07:35:38Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• Accurate Leakage Speculation for Quantum Error Correction [2.49311913805387]
  データキュービットの漏洩は、量子エラー補正(QEC)サイクル中に直接測定されることはないため、特に困難である。 我々は、表面コード、カラーコード、およびqLDPCコードにまたがる、汎用的で適応可能な漏洩投機フレームワークであるグラディエータを提案する。
  論文  参考訳（メタデータ） (2025-10-29T16:23:27Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• Overcoming leakage in scalable quantum error correction [128.39402546769284]
  計算状態から高エネルギー状態への量子情報の漏洩は、量子誤り訂正(QEC)の追求における大きな課題である。 本稿では,Sycamore量子プロセッサ上で,各サイクルの全てのキュービットから漏れが除去される距離3曲面符号と距離21ビットフリップ符号の実行を実演する。 本報告では, 論理状態を符号化したデータキュービットにおける定常リーク集団の10倍の減少と, デバイス全体の平均リーク人口の1/10〜3ドルの減少を報告した。
  論文  参考訳（メタデータ） (2022-11-09T07:54:35Z)
• Fault-tolerant parity readout on a shuttling-based trapped-ion quantum computer [64.47265213752996]
  耐故障性ウェイト4パリティチェック測定方式を実験的に実証した。 フラグ条件パリティ測定の単発忠実度は93.2(2)%である。 このスキームは、安定化器量子誤り訂正プロトコルの幅広いクラスにおいて必須な構成要素である。
  論文  参考訳（メタデータ） (2021-07-13T20:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。