論文の概要: zkLLMPoT: Efficient Zero Knowledge Proof of Training for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.08258v1
• Date: Tue, 06 Oct 2026 12:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.982373
• Title: zkLLMPoT: Efficient Zero Knowledge Proof of Training for Large Language Models
• Title（参考訳）: zkLLMPoT:大規模言語モデルの学習における効率的なゼロ知識証明
• Abstract要約: zkLLMPoTは、トレーニングされたチェックポイントの監査者定義プロパティを認定するフレームワークである。 我々は、Transformerの計算を認証するために、sumcheck-および lookup-based argumentsを構築している。
• 参考スコア（独自算出の注目度）: 25.41779595863987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auditing the claimed outcomes of large language model (LLM) training is challenging when model weights and training data are private, while cryptographically proving the full training process is prohibitively expensive at Transformer scale. We present zkLLMPoT, a zero-knowledge framework that certifies auditor-defined properties of a trained checkpoint through forward evaluation rather than verification of its optimization trajectory. zkLLMPoT includes 2 phases: 1) The trainer fixes the architecture and the model weights are committed. Then the auditor selects challenge sequences, preventing the trainer from modifying the checkpoint in response to the audit data. 2) Then the trainer proves the objective value attained by the committed model on those sequences. This formulation makes the certification cost independent of the number of training iterations, without revealing model weights or requiring access to private training data. We build on sumcheck- and lookup-based arguments to certify Transformer computations, while supporting next-token loss and task-specific audit objectives. Across four model families, operator-level benchmarks yield proving times of 41-59 seconds for 1.1-1.5B-parameter models and 131 seconds at 13B for the covered operators, with verification below half a second at a sequence length of 512.
• Abstract（参考訳）: 大規模言語モデル(LLM)トレーニングの請求結果の監査は、モデルの重み付けとトレーニングデータの非公開化が難しい一方で、Transformerスケールでは、完全なトレーニングプロセスの暗号的証明が極めて高価である。 本稿では,ゼロ知識フレームワークであるzkLLMPoTを提案する。 zkLLMPoT には2つのフェーズがある。 1)トレーナーはアーキテクチャを修正し、モデルの重み付けをコミットします。 そして、監査者がチャレンジシーケンスを選択し、監査データに応じて、トレーナーがチェックポイントを変更するのを防止する。 2) トレーナーは、これらのシーケンス上でコミットされたモデルによって達成された客観的値を証明する。 この定式化は、モデルの重みを明らかにしたり、プライベートなトレーニングデータにアクセスする必要なしに、トレーニングイテレーションの数によらずに、認定コストを発生させる。 我々は,Transformerの計算を認証するために,サミチェックとルックアップに基づく引数を構築し,次段階の損失とタスク固有の監査目標をサポートする。 4つのモデルファミリの中で、演算子レベルのベンチマークは、1.1-1.5Bパラメータモデルで41-59秒、カバー演算子で131秒、シーケンス長512で半秒未満の検証を行う。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents [57.240036084348354]
  本稿では,ロボットスキルコントラクトの検証誘導自己進化のためのフレームワークであるVASOを紹介する。 VASOは論理的に一貫性のないスキル契約を検証し、グローバルおよびローカルな時間的仕様に対してスキルによって誘発される計画を検証する。 Clearpath Jackal と PX4 のクアッドコプタータスクでは、VASO は100点未満の最適化サンプルを使用して97.2% の形式的な仕様準拠に達した。
  論文  参考訳（メタデータ） (2026-06-03T20:02:35Z)
• Hard2Verify: A Step-Level Verification Benchmark for Open-Ended Frontier Math [80.46254366870447]
  私たちは500時間以上の人的労力で生成された段階レベルの検証ベンチマークであるHard2Verifyを紹介します。 我々は29人の生成的批評家とプロセス報酬モデルを評価し、いくつかの点を超えて、オープンソースの検証者がクローズドソースモデルを評価することを実証した。
  論文  参考訳（メタデータ） (2025-10-15T16:50:54Z)
• Understanding the Role of Training Data in Test-Time Scaling [56.12341509545198]
  線形回帰のための文脈内重み予測タスクを訓練した変圧器の試験時間スケーリング性能について検討した。 多様な、関連性があり、難しいタスクセットでのトレーニングが、テスト時間のスケーリングに最高のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-10-04T01:38:48Z)
• Training Dynamics of a 1.7B LLaMa Model: A Data-Efficient Approach [10.39475177812483]
  約200億個のデータに対するDMaS-LLaMa-Liteのトレーニングから得られた洞察を共有します。 我々は、検証損失レベルとダウンストリームベンチマークの進化が、不整合テキストから、流動的で文脈に根ざしたアウトプットへの移行を反映しているかを記述した、完全なトレーニングの軌跡を詳述する。 これらの経験を詳述し、トレーニングログ、チェックポイント、サンプルアウトプットを提供することで、将来の研究者や実践者が事前学習戦略を洗練することを目指している。
  論文  参考訳（メタデータ） (2024-12-17T21:15:52Z)
• Optimistic Verifiable Training by Controlling Hardware Nondeterminism [22.85808027490485]
  トレーニング中のGPUタイプ間の非決定性は、トレーニングプロセスの正確な複製を防ぐ。 本稿では,目標よりも高精度なトレーニング,中間計算後のラウンドリング,適応的しきい値決定に基づくラウンドリング決定の共有を併用する手法を提案する。 検証可能なトレーニング手法は,証明ベースシステムと比較して,ストレージと時間コストを著しく削減する。
  論文  参考訳（メタデータ） (2024-03-14T17:44:35Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。