論文の概要: On the Fundamental Limits of Formally (Dis)Proving Robustness in Proof-of-Learning

• arxiv url: http://arxiv.org/abs/2208.03567v1
• Date: Sat, 6 Aug 2022 19:07:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 12:16:44.803408
• Title: On the Fundamental Limits of Formally (Dis)Proving Robustness in Proof-of-Learning
• Title（参考訳）: 証明型学習における形式的(dis)頑健性に関する基礎的限界について
• Authors: Congyu Fang, Hengrui Jia, Anvith Thudi, Mohammad Yaghini, Christopher A. Choquette-Choo, Natalie Dullerud, Varun Chandrasekaran, Nicolas Papernot
• Abstract要約: 本稿では,学習プロトコルが反逆者に対して形式的に(dis)堅牢であることができない理由を公式に分析する。 ディープラーニングは必ずしもノイズを伴うため,有効な検証結果が正当性証明の受け入れと無効性証明の拒否のトレードオフをもたらすことを示す。 我々は、正式に保証された新しいクラスPoLプロトコルを定式化するためには、暗号化に強く依存する必要があると結論付けている。
• 参考スコア（独自算出の注目度）: 41.3211535926634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Proof-of-learning (PoL) proposes a model owner use machine learning training checkpoints to establish a proof of having expended the necessary compute for training. The authors of PoL forego cryptographic approaches and trade rigorous security guarantees for scalability to deep learning by being applicable to stochastic gradient descent and adaptive variants. This lack of formal analysis leaves the possibility that an attacker may be able to spoof a proof for a model they did not train. We contribute a formal analysis of why the PoL protocol cannot be formally (dis)proven to be robust against spoofing adversaries. To do so, we disentangle the two roles of proof verification in PoL: (a) efficiently determining if a proof is a valid gradient descent trajectory, and (b) establishing precedence by making it more expensive to craft a proof after training completes (i.e., spoofing). We show that efficient verification results in a tradeoff between accepting legitimate proofs and rejecting invalid proofs because deep learning necessarily involves noise. Without a precise analytical model for how this noise affects training, we cannot formally guarantee if a PoL verification algorithm is robust. Then, we demonstrate that establishing precedence robustly also reduces to an open problem in learning theory: spoofing a PoL post hoc training is akin to finding different trajectories with the same endpoint in non-convex learning. Yet, we do not rigorously know if priori knowledge of the final model weights helps discover such trajectories. We conclude that, until the aforementioned open problems are addressed, relying more heavily on cryptography is likely needed to formulate a new class of PoL protocols with formal robustness guarantees. In particular, this will help with establishing precedence. As a by-product of insights from our analysis, we also demonstrate two novel attacks against PoL.
• Abstract（参考訳）: Proof-of-learning(PoL)は、モデル所有者が機械学習トレーニングチェックポイントを使用して、トレーニングに必要な計算を拡張した証拠を確立することを提案する。 PoLフォアゴ暗号手法の著者らは、確率勾配勾配や適応的変種に適用することで、ディープラーニングへのスケーラビリティの厳密なセキュリティ保証を行う。 この公式な分析の欠如は、攻撃者が訓練していないモデルの証明を偽造できる可能性を残している。 本稿では,PoLプロトコルが公式な (dis) 証明できない理由の形式解析に寄与する。 そのため、PoLにおける証明検証の2つの役割を解消する。 a)証明が有効な勾配降下軌道であるか否かを効率的に決定し、 (b)修了後(即ちスプーフィング)に証明を製作するコストを高くすることで優先を確立すること。 そこで本研究では,効率的な検証が正当な証明の受け入れと無効な証明の拒否のトレードオフをもたらすことを示す。 このノイズがトレーニングに与える影響に関する正確な分析モデルがなければ、pol検証アルゴリズムが堅牢かどうかを正式に保証することはできない。 また,PoLポストホックトレーニングをスプーフすることは,非凸学習において同一の終点を持つ異なる軌跡を見つけることに似ている。 しかし、最終モデルの重みに関する事前知識がそのような軌道の発見に役立つかどうか、厳密には分かっていない。 我々は、上記のオープン問題に対処するまで、形式的ロバスト性保証で新しいクラスのpolプロトコルを定式化するために、暗号に重きを置く必要があると結論づける。 特に、これが優先事項の確立に役立ちます。 分析から得られた知見の副産物として,PoLに対する2つの新たな攻撃を実証した。

関連論文リスト

• The VLLM Safety Paradox: Dual Ease in Jailbreak Attack and Defense [56.32083100401117]
  本稿では,視覚大言語モデル (VLLM) がジェイルブレイク攻撃のリスクが高い理由を考察する。 既存の防御機構は、テキストバウンド・プルーデンスの問題に悩まされる。 ジェイルブレイクの2つの代表的な評価手法は、しばしばチャンス合意を示す。
  論文  参考訳（メタデータ） (2024-11-13T07:57:19Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Learn from Failure: Fine-Tuning LLMs with Trial-and-Error Data for Intuitionistic Propositional Logic Proving [41.23045212775232]
  探索経路の失敗から学習する訓練モデルの利点を実証する。 既存のオープンソース定理証明データセットにそのような試行錯誤データが欠如しているにもかかわらず、直観論的命題論理定理のデータセットをキュレートする。 比較的短いトライアル・アンド・エラー情報(TrialMaster)で訓練されたモデルと、正しい経路でのみ訓練されたモデルを比較し、前者が低いトライアル探索でより目に見えない定理を解くことを発見した。
  論文  参考訳（メタデータ） (2024-04-10T23:01:45Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Generating Natural Language Proofs with Verifier-Guided Search [74.9614610172561]
  NLProofS (Natural Language Proof Search) を提案する。 NLProofSは仮説に基づいて関連するステップを生成することを学習する。 EntailmentBank と RuleTaker の最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-05-25T02:22:30Z)
• "Adversarial Examples" for Proof-of-Learning [32.438181794551035]
  Jiaらは、PoLという新しい概念/メカニズムを提案した。 PoLは、トレーニング手順の完全性を証明することによって、機械学習モデルのオーナシップを証明可能にする。 PoL は "adrialversa example" に対して脆弱であることを示す。
  論文  参考訳（メタデータ） (2021-08-21T07:56:29Z)
• Proof-of-Learning: Definitions and Practice [15.585184189361486]
  トレーニングマシンラーニング(ML)モデルは通常、高価な反復最適化を伴う。 現在、これらのパラメータが実際にこの最適化手順の結果であることを証明するためにモデルを訓練したエンティティのメカニズムはありません。 本稿では,MLにおける学習の証明という概念を紹介する。
  論文  参考訳（メタデータ） (2021-03-09T18:59:54Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。