論文の概要: Verifiable Fine-Tuning for LLMs: Zero-Knowledge Training Proofs Bound to Data Provenance and Policy
- arxiv url: http://arxiv.org/abs/2510.16830v1
- Date: Sun, 19 Oct 2025 13:33:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.170973
- Title: Verifiable Fine-Tuning for LLMs: Zero-Knowledge Training Proofs Bound to Data Provenance and Policy
- Title（参考訳）: LLMのための検証可能なファインチューニング: ゼロ知識学習法はデータ公開とポリシーに結びつく
- Authors: Hasan Akgul, Daniel Borg, Arta Berisha, Amina Rahimova, Andrej Novak, Mila Petrov,
- Abstract要約: 本稿では,簡潔なゼロ知識証明を生成するプロトコルとシステムであるVerifiable Fine Tuningを提案する。
本システムは,確率的監査と帯域幅制約によって構成されることを示す。
結果から,本システムは実パラメータ効率のよいパイプラインで実現可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are often adapted through parameter efficient fine tuning, but current release practices provide weak assurances about what data were used and how updates were computed. We present Verifiable Fine Tuning, a protocol and system that produces succinct zero knowledge proofs that a released model was obtained from a public initialization under a declared training program and an auditable dataset commitment. The approach combines five elements. First, commitments that bind data sources, preprocessing, licenses, and per epoch quota counters to a manifest. Second, a verifiable sampler that supports public replayable and private index hiding batch selection. Third, update circuits restricted to parameter efficient fine tuning that enforce AdamW style optimizer semantics and proof friendly approximations with explicit error budgets. Fourth, recursive aggregation that folds per step proofs into per epoch and end to end certificates with millisecond verification. Fifth, provenance binding and optional trusted execution property cards that attest code identity and constants. On English and bilingual instruction mixtures, the method maintains utility within tight budgets while achieving practical proof performance. Policy quotas are enforced with zero violations, and private sampling windows show no measurable index leakage. Federated experiments demonstrate that the system composes with probabilistic audits and bandwidth constraints. These results indicate that end to end verifiable fine tuning is feasible today for real parameter efficient pipelines, closing a critical trust gap for regulated and decentralized deployments.
- Abstract（参考訳）: 大規模な言語モデルは、パラメータ効率の良い微調整によって適応されることが多いが、現在のリリースプラクティスは、どのデータを使用したか、どのように更新が計算されたかに関して、弱い保証を提供する。
我々は、宣言されたトレーニングプログラムおよび監査可能なデータセットコミットメントの下で、公開初期化からリリースされたモデルが得られたという簡潔なゼロ知識証明を生成するプロトコルおよびシステムである検証可能なファインチューニングを提案する。
このアプローチは5つの要素を組み合わせています。
まず、データソース、前処理、ライセンス、エポッククォータ毎のカウンタをマニフェストにバインドするコミット。
第二に、パブリック再生およびプライベートインデックス隠蔽バッチセレクションをサポートする検証可能なサンプル。
第3に、AdamWスタイルのオプティマイザセマンティクスと明示的なエラー予算による証明フレンドリな近似を強制するパラメータ効率の良い微調整に制限された更新回路。
第4に、ステップ証明ごとに折り畳む再帰的な集約は、ミリ秒の検証で、エポックとエンドとエンドの証明書に折り畳みます。
5番目は、コードのアイデンティティと定数を証明したプロファイランスバインディングと、オプションで信頼できる実行プロパティカードである。
英語とバイリンガルの混在について、この手法は実用的証明性能を達成しつつ、厳格な予算内で実用性を維持する。
ポリシークォータはゼロ違反で実施され、プライベートサンプリングウィンドウは測定可能なインデックスリークを示さない。
フェデレーション実験により,確率的監査と帯域幅制約によって構成されることを示した。
これらの結果は、現在、実際のパラメータ効率の良いパイプラインに対して、エンドツーエンドで検証可能な微調整が実現可能であることを示しており、規制と分散デプロイメントにおいて重要な信頼ギャップを閉じている。
関連論文リスト
- Memory in Large Language Models: Mechanisms, Evaluation and Evolution [8.158439933515131]
我々は,4つの分類法(パラメトリック,文脈,外部,手続き/エピソード)とメモリ四倍法(ロケーション,永続性,書き込み/アクセスパス,制御性)を提案する。
DMM Gov: DAPT/TAPT, PEFT, モデル編集(ROME, MEND, MEMIT, SERAC)、RAGをコーディネートして監査可能なループを形成する。
これにより、再現可能で、同等で、統制可能な、研究と展開のための座標系が得られる。
論文 参考訳（メタデータ） (2025-09-23T10:06:58Z) - Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。
欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。
このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
論文 参考訳（メタデータ） (2025-09-11T07:07:11Z) - Proof-Carrying Numbers (PCN): A Protocol for Trustworthy Numeric Answers from LLMs via Claim Verification [0.0]
我々は,機械的検証により数値忠実度を強制するプレゼンテーション層プロトコルであるtextbfProof-Carrying Numbers (PCN) を提案する。
PCNは軽量でモデルに依存しず、既存のアプリケーションにシームレスに統合され、暗号的なコミットメントで拡張できる。
論文 参考訳（メタデータ） (2025-09-08T17:20:16Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable Inference [7.103455333148043]
大規模言語モデル(LLM)は非常に有能であることが証明されているが、現在フロンティアモデルへのアクセスは推論プロバイダに依存している。
本研究では,この問題に対処する検証可能な新しい手法であるTOPLOCを提案する。
論文 参考訳（メタデータ） (2025-01-27T12:46:45Z) - Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking [48.68044413117397]
PINOSEは、オフラインの自己整合性検査結果に基づいて探索モデルをトレーニングし、人間の注釈付きデータの必要性を回避する。
応答復号に先立って内部状態の様々な側面を調べ、事実的不正確な検出に寄与する。
論文 参考訳（メタデータ） (2024-04-10T05:00:35Z) - Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。
Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。
実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
論文 参考訳（メタデータ） (2024-04-05T02:27:09Z) - Auditing Fairness by Betting [43.515287900510934]
我々は,デプロイされた分類モデルと回帰モデルの公平性を評価するための,実用的で効率的で非パラメトリックな手法を提供する。
我々の手法は逐次的であり、入ってくるデータの継続的なモニタリングを可能にする。
提案手法の有効性を3つのベンチマークフェアネスデータセットに示す。
論文 参考訳（メタデータ） (2023-05-27T20:14:11Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。