論文の概要: PoGO: A Scalable Proof of Useful Work via Quantized Gradient Descent and Merkle Proofs

• arxiv url: http://arxiv.org/abs/2504.07540v1
• Date: Thu, 10 Apr 2025 08:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:22:40.264474
• Title: PoGO: A Scalable Proof of Useful Work via Quantized Gradient Descent and Merkle Proofs
• Title（参考訳）: PoGO: 量子化グラディエントDescentとMerkle Proofsによる有用な作業のスケーラブルな証明
• Authors: José I. Orlicki,
• Abstract要約: ブロックチェーンコンセンサスのためのemphProof of Gradient Optimization(PoGO)という設計を提案する。 我々は、記憶と計算の要求を減らすために、エンファンタライズド勾配(4ビット精度)を組み込んだ。 検証がトレーニングよりも大幅に安価であることを示す実証的コスト分析を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present a design called \emph{Proof of Gradient Optimization} (PoGO) for blockchain consensus, where miners produce verifiable evidence of training large-scale machine-learning models. Building on previous work, we incorporate \emph{quantized gradients} (4-bit precision) to reduce storage and computation requirements, while still preserving the ability of verifiers to check that real progress has been made on lowering the model's loss. Additionally, we employ Merkle proofs over the full 32-bit model to handle large parameter sets and to enable random leaf checks with minimal on-chain data. We illustrate these ideas using GPT-3 (175B parameters) as a reference example and also refer to smaller but high-performance models (e.g., \emph{Gemma~3} with 27B parameters). We provide an empirical cost analysis showing that verification is significantly cheaper than training, thanks in part to quantization and sampling. We also discuss the necessity of longer block times (potentially hours) when incorporating meaningful training steps, the trade-offs when using specialized GPU hardware, and how binary diffs may incrementally optimize updates. Finally, we note that fine-tuning can be handled in a similar manner, merely changing the dataset and the manner of sampling but preserving the overall verification flow. Our protocol allows verifiers to issue either \emph{positive} or \emph{negative} attestations; these are aggregated at finalization to either confirm the update or slash the miner.
• Abstract（参考訳）: 本稿では,ブロックチェーンコンセンサスのための‘emph{Proof of Gradient Optimization}(PoGO)’という設計を提案する。 従来の研究に基づいて,記憶と計算の必要量を削減するために,<emph{quantized gradients} (4-bit precision) を組み込んだ。 さらに,32ビットモデル上でMerkleの証明を用いて大きなパラメータ集合を処理し,最小のオンチェーンデータでランダムな葉のチェックを可能にする。 本稿では, GPT-3 (175B パラメータ) を参照例として用い, 小型だが高性能なモデル(27B パラメータの emph{Gemma~3} など)を参照する。 我々は,定量化とサンプリングによって,検証がトレーニングよりも大幅に安価であることを示す実証的コスト分析を行った。 また、意味のあるトレーニングステップを取り入れた場合の長いブロック時間(潜在的に数時間)の必要性、特別なGPUハードウェアを使用する場合のトレードオフ、バイナリ差分がアップデートを段階的に最適化する方法について論じる。 最後に、データセットとサンプリングの方法を変更するだけで、全体の検証フローを保存するだけで、ファインチューニングも同じように扱うことができることに留意する。 我々のプロトコルでは、検証者は \emph{ positive} または \emph{ negative} の証明を発行することができる。

関連論文リスト

• TCMM: Token Constraint and Multi-Scale Memory Bank of Contrastive Learning for Unsupervised Person Re-identification [2.3183978396999967]
  本稿では,ViTアーキテクチャに対するパッチノイズによる損傷を軽減するために,ViT Token Constraintを提案する。 提案されたマルチスケールメモリは、外れ値サンプルの探索を強化し、機能の一貫性を維持する。
  論文  参考訳（メタデータ） (2025-01-15T07:14:02Z)
• AutoPSV: Automated Process-Supervised Verifier [10.283965168399158]
  textbf Automated textbfProcess-textbf Supervised textbfVerifier (textbftextscAutoPSV) textscAutoPSVは、最終回答の正しさに関する検証モデルをトレーニングすることから始まる。 最終回答の正しさを訓練した検証モデルにより得られたステップレベルの信頼度変化が、推論ステップにおける誤りを効果的に識別できることを実験的に検証した。
  論文  参考訳（メタデータ） (2024-05-27T03:44:24Z)
• QCore: Data-Efficient, On-Device Continual Calibration for Quantized Models -- Extended Version [34.280197473547226]
  機械学習モデルは、ストレージと計算能力に制限のあるエッジデバイスにデプロイすることができる。 エッジ上で連続的なキャリブレーションを可能にするためのQCoreを提案する。
  論文  参考訳（メタデータ） (2024-04-22T08:57:46Z)
• Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
  大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。 そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:47:32Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は、様々なタスクにうまく適用された強力な概念であることが示されている。 古典グラフ理論の関連部分を含むGCNの定義への道を開いた理論を考察する。
  論文  参考訳（メタデータ） (2022-07-12T16:57:08Z)
• Intrinsic Certified Robustness of Bagging against Data Poisoning Attacks [75.46678178805382]
  emphdata中毒攻撃では、攻撃者は学習した機械学習モデルを破損させるためにいくつかのトレーニング例を変更し、削除し、または挿入する。 データ中毒攻撃に対するバッグングの本質的確固たる堅牢性を証明する。 本手法は, 任意の修正, 削除, 挿入を行う場合, MNIST 上で 911.1% の精度を達成している。
  論文  参考訳（メタデータ） (2020-08-11T03:12:42Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。