論文の概要: Nondeterminism-Aware Optimistic Verification for Floating-Point Neural Networks

• arxiv url: http://arxiv.org/abs/2510.16028v2
• Date: Tue, 21 Oct 2025 17:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:11.720945
• Title: Nondeterminism-Aware Optimistic Verification for Floating-Point Neural Networks
• Title（参考訳）: 非決定性を考慮した浮動小数点ニューラルネットワークの最適検証
• Authors: Jianzhu Yao, Hongxu Su, Taobo Liao, Zerui Cheng, Huan Zhang, Xuechao Wang, Pramod Viswanath,
• Abstract要約: 不均一加速器上での浮動小数点実行のための非決定論的アウェア最適検証プロトコル NAOをPyTorch互換ランタイムとして実装し、現在Horeskyテストネット上にデプロイされているコントラクト層を運用しています。
• 参考スコア（独自算出の注目度）: 11.159101812934503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks increasingly run on hardware outside the user's control (cloud GPUs, inference marketplaces). Yet ML-as-a-Service reveals little about what actually ran or whether returned outputs faithfully reflect the intended inputs. Users lack recourse against service downgrades (model swaps, quantization, graph rewrites, or discrepancies like altered ad embeddings). Verifying outputs is hard because floating-point(FP) execution on heterogeneous accelerators is inherently nondeterministic. Existing approaches are either impractical for real FP neural networks or reintroduce vendor trust. We present NAO: a Nondeterministic tolerance Aware Optimistic verification protocol that accepts outputs within principled operator-level acceptance regions rather than requiring bitwise equality. NAO combines two error models: (i) sound per-operator IEEE-754 worst-case bounds and (ii) tight empirical percentile profiles calibrated across hardware. Discrepancies trigger a Merkle-anchored, threshold-guided dispute game that recursively partitions the computation graph until one operator remains, where adjudication reduces to a lightweight theoretical-bound check or a small honest-majority vote against empirical thresholds. Unchallenged results finalize after a challenge window, without requiring trusted hardware or deterministic kernels. We implement NAO as a PyTorch-compatible runtime and a contract layer currently deployed on Ethereum Holesky testnet. The runtime instruments graphs, computes per-operator bounds, and runs unmodified vendor kernels in FP32 with negligible overhead (0.3% on Qwen3-8B). Across CNNs, Transformers and diffusion models on A100, H100, RTX6000, RTX4090, empirical thresholds are $10^2-10^3$ times tighter than theoretical bounds, and bound-aware adversarial attacks achieve 0% success. NAO reconciles scalability with verifiability for real-world heterogeneous ML compute.
• Abstract（参考訳）: ニューラルネットワークは、ユーザのコントロール外(クラウドGPU、推論マーケットプレース)のハードウェア上でますます動作します。 しかし、ML-as-a-Serviceは実際に実行されたのか、返された出力が意図したインプットを忠実に反映しているかをほとんど明らかにしません。 ユーザは、サービスダウングレード(モデルスワップ、量子化、グラフリライト、あるいは変更された広告埋め込みのような不一致)に対するレコメンデーションを欠いている。 不均一加速器上での浮動小数点(FP)の実行は本質的に非決定論的であるため、出力の検証は困難である。 既存のアプローチは、実際のFPニューラルネットワークでは実用的でないか、ベンダーの信頼を再導入する。 我々は、ビットワイド平等を要求せず、原理化された演算子レベルの受け入れ領域内で出力を受信する、非決定論的寛容な最適検証プロトコルNAOを提案する。 NAOは2つのエラーモデルを組み合わせる。 (i)オペレーショナルIEEE-754最悪のケース境界と音 (II)ハードウェア間で校正された厳密な経験的パーセンタイルプロファイル。 矛盾はメルクルアンコールでしきい値誘導された紛争ゲームを引き起こし、ある演算子が残るまで再帰的に計算グラフを分割する。 Unchallengedの結果は、信頼できるハードウェアや決定論的カーネルを必要とせずに、チャレンジウィンドウの後に確定する。 PyTorch互換ランタイムとEthereum Holeskyテストネットに現在デプロイされているコントラクト層としてNAOを実装しています。 ランタイムはグラフを計測し、演算子ごとのバウンダリを計算し、修正されていないベンダーカーネルをFP32で実行し、オーバーヘッドは無視できる(Qwen3-8Bでは0.3%)。 CNN、トランスフォーマーおよびA100, H100, RTX6000, RTX4090上の拡散モデル全体において、経験的閾値は理論的境界の10^2-10^3$であり、有界敵攻撃は0%の成功を達成する。 NAOは、実世界の異種ML計算におけるスケーラビリティと検証可能性の調整を行う。

関連論文リスト

• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Distributed Training under Packet Loss [8.613477072763404]
  信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。 そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。 この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-07-02T11:07:20Z)
• Exact Certification of (Graph) Neural Networks Against Label Poisoning [50.87615167799367]
  グラフニューラルネットワーク(GNN)におけるラベルフリップの正確な認証手法を提案する。 本稿では,ノード分類タスクにおける広範囲なGNNアーキテクチャの認証に本手法を適用した。 私たちの研究は、ニューラルネットワークによって引き起こされた毒殺攻撃に対する最初の正確な認証を提示します。
  論文  参考訳（メタデータ） (2024-11-30T17:05:12Z)
• On the Convergence of FedProx with Extrapolation and Inexact Prox [55.2480439325792]
  我々は、各クライアントが特定の演算子を正確に計算するという仮定なしに、FedExProxの挙動を調査する。 不完全性は解の近傍に収束することを示す。 我々の理論的洞察は総合的な数値実験によって検証される。
  論文  参考訳（メタデータ） (2024-10-02T10:42:27Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。