論文の概要: VRMaaS: Verifiable Reward-Model-as-a-Service for Trustworthy LLM Alignment
- arxiv url: http://arxiv.org/abs/2611.14984v1
- Date: Wed, 11 Nov 2026 03:41:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.001004
- Title: VRMaaS: Verifiable Reward-Model-as-a-Service for Trustworthy LLM Alignment
- Title(参考訳): VRMaaS:信頼できるLLMアライメントのための検証可能なリワードモデル・アズ・ア・サービス
- Abstract要約: リワードモデル(RM)は、アライメントパイプラインのサービスコンポーネントとしてますます多くデプロイされています。
本稿では,返却報酬が実演成果物となる枠組みを提案する。
- 参考スコア(独自算出の注目度): 16.156448299465563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reward models (RMs) are increasingly deployed as service components in LLM alignment pipelines, where payment, audit, moderation, and governance workflows act on the scores they return. An inference proof alone does not show whether a score belongs to the intended request, model checkpoint, numerical configuration, and verifier: in a controlled comparison that isolates the accepted statement from prover scale, a generic inference proof wrapped for on-chain checking remains valid after six classes of such service-field substitution. We formulate verifiable reward-model-as-a-service (VRMaaS) as a service-output integrity problem and present a framework in which each returned reward becomes a proof-carrying artifact. Its off-chain acceptance rule binds request identity, committed weights, verifier and configuration identifiers, proof-task order, and the digest of the exported package, so auditors can check a reward without rerunning the private RM or exposing inputs, checkpoints, or hidden activations; an optional on-chain zero-knowledge wrapper gives contracts a partial attestation of selected consistency checks and supplied service fields. The framework decomposes Transformer RM serving into arithmetic and lookup-backed proof tasks, aggregates them into a composite proof, and links hidden operands to the committed weights. A GPU prototype on 1B, 3B, and 8B reward models over 128-1024 tokens preserves 93.5-99% pairwise agreement with the baseline RM and rejects every tested service-field substitution in complete artifacts. Using exact integer witnesses and request-level aggregation of weight-binding openings, it generates complete artifacts in 49.8-206.1 seconds across the evaluated settings; auditors verify retained artifacts in 1.94-5.11 seconds, and partial public attestation costs about 217K gas. These costs suit delayed audit, settlement, and governance workflows.
- Abstract(参考訳): リワードモデル(RM)は、支払い、監査、モデレーション、ガバナンスワークフローが返されるスコアに作用するLLMアライメントパイプラインのサービスコンポーネントとして、ますます多くデプロイされます。
推論証明だけでは、スコアが意図された要求、モデルチェックポイント、数値構成、検証対象に属するかどうかを示さない: 評価された文を証明者スケールから分離する制御された比較において、オンチェーンチェック用にラップされた一般的な推論証明は、そのようなサービスフィールド置換の6つのクラスの後も有効である。
検証可能な報酬モデル・アズ・ア・サービス(VRMaaS)をサービス出力整合性問題として定式化し、返却された報酬が証明する成果物となる枠組みを示す。
オフチェーンの受け入れルールは、要求ID、コミットウェイト、バリデーションと設定識別子、証明タスクの順序、エクスポートされたパッケージのダイジェストと結びついているので、監査人はプライベートRMを再実行したり、入力、チェックポイント、あるいは隠れたアクティベーションを出力することなく報酬をチェックできる。
このフレームワークは Transformer RM を算術的およびルックアップ支援された証明タスクに分解し、それらを複合的な証明に集約し、隠されたオペランドをコミットした重みにリンクする。
1B, 3B, 8Bの128-1024トークン上のGPUプロトタイプは、ベースラインRMとのペア契約を93.5-99%保持し、テスト対象のすべてのサービスフィールド置換を完全なアーティファクトで拒否する。
正確な整数の証人および要求レベルのオープニングを用いて、評価された設定で49.8-206.1秒で完全なアーティファクトを生成し、監査官は保持されたアーティファクトを1.94-5.11秒で検証し、部分的な公証費は約217Kガスである。
これらのコストは監査、解決、ガバナンスのワークフローを遅らせる。
関連論文リスト
- AuditFL: A Contract-Backed Clearing Layer for Open Federated Learning [45.97204427776475]
フェデレートラーニング(FL)は生データをローカルに保持するが、ほとんどのデプロイメントは、クライアントの受け入れ、チェックポイントの配布、更新コレクション、アグリゲーション、報酬のために信頼できるコーディネータに依存している。
本稿では,オープン環境でのオーディブルFLのための契約付きクリアリング層であるAuditFLについて述べる。
論文 参考訳(メタデータ) (2026-10-30T05:29:59Z) - VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。
Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。
分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
論文 参考訳(メタデータ) (2026-10-19T17:22:36Z) - Auditor-Assisted Summary-Channel Verification for Hosted LLM Identity Substitution [22.419301430356285]
信頼性のある監査人が要求されたアイデンティティを登録し、配備前に検証資料を準備する監査人支援体制について検討する。
SuMMARKは、ユーザ可視な推論サマリーを鍵監査面として利用する要約チャネル透かしフレームワークである。
論文 参考訳(メタデータ) (2026-10-19T08:09:11Z) - Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳(メタデータ) (2026-10-01T09:17:47Z) - ZK-Trace: Certified Collusion Tracing with Zero-Knowledge Credentials for Federated GNSS Interference Monitoring [2.611390035495907]
ZK-Traceは、公開IDマーク、受信者固有のTardos指紋、およびゼロ知識認証を組み合わせる。
レジストリは、漏洩者の協力なしにオフライントレースをサポートする。
論文 参考訳(メタデータ) (2026-09-08T14:00:29Z) - Object-to-Source Mapping under Optimization: What a Control-Flow Trace Can Show, and Where Source-Level Coverage Breaks [46.45816037744739]
制御フロートレースは、マシンレベルの実行を再構築することができるが、ソースレベルの構造カバレッジに加えて、生成された命令からの検証された帰属と、ソースの義務への分岐結果が必要である。
本稿では,その境界を定義し,コンパイラの正確な出力を図示する。
付録では、実際のシリコン上でのエンド・ツー・エンドのメカニズムを例示している。
論文 参考訳(メタデータ) (2026-08-29T17:06:10Z) - Auditing Privacy in Multi-Tenant RAG under Account Collusion [1.253312107729806]
マルチテナント検索拡張生成サービスは、ログ単位の差分プライバシーを操作リーク境界として宣伝する。
我々は、同一インデックスのマルチアカウント共謀をプライバシ境界障害とみなす。
修正されていないRAGデプロイメントに対して動作する最初の監査プロトコルを設計する。
論文 参考訳(メタデータ) (2026-05-19T13:41:59Z) - A Blockchain-based Traceability System for AI-Driven Engine Blade Inspection [1.5208982886270774]
BladeChainはコンポーネントライフサイクル全体を通じて、ブレード検査の不変トレーサビリティを提供する。
システムは、すべてのライフサイクルイベントを、暗黙の台帳でキャプチャする。
検査アーティファクトはIPFSにオフチェーンに格納され、SHA-256ハッシュを介してオンチェーンレコードにリンクされる。
論文 参考訳(メタデータ) (2026-03-09T12:06:56Z) - IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳(メタデータ) (2026-02-26T07:21:02Z) - Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。
HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
論文 参考訳(メタデータ) (2025-10-08T17:09:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。