論文の概要: Auditor-Assisted Summary-Channel Verification for Hosted LLM Identity Substitution
- arxiv url: http://arxiv.org/abs/2610.25982v1
- Date: Mon, 19 Oct 2026 08:09:11 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:10:48.597978
- Title: Auditor-Assisted Summary-Channel Verification for Hosted LLM Identity Substitution
- Title(参考訳): オーディタ支援型LLMアイデンティティ置換のための概要チャネル検証
- Abstract要約: 信頼性のある監査人が要求されたアイデンティティを登録し、配備前に検証資料を準備する監査人支援体制について検討する。
SuMMARKは、ユーザ可視な推論サマリーを鍵監査面として利用する要約チャネル透かしフレームワークである。
- 参考スコア(独自算出の注目度): 22.419301430356285
- License:
- Abstract: Hosted LLM services increasingly expose model identity as a product claim, but external users and auditors often cannot inspect which model configuration served a request. We study an auditor-assisted regime in which a trusted auditor enrolls claimed identities and prepares verification material before deployment, while audit-time verification uses only the claimed identity and released output, without runtime access to model internals, inference logs, routing decisions, or provider metadata. We propose SUMMARK, a summary-channel watermarking framework that uses user-visible reasoning summaries as a keyed audit surface. During setup, SUMMARK constructs identity-specific vocabulary carriers, trains lightweight summary adapters, and calibrates per-identity thresholds. At deployment time, a keyed statistical test assesses whether the released summary is consistent with the claimed identity and, when needed, attributes the most likely enrolled identity. Across model families, scales, and task domains, SUMMARK reliably detects cross-family and cross-scale substitutions at low false-positive rates while preserving task-facing answer quality. We further study FP16->INT8/INT4 precision-consistency diagnostics and robustness under bounded post-processing, rewriting stress tests, and text-only spoofing, revealing both strong performance and clear failure boundaries. Our code is publicly available at https://github.com/trinitr0toluene/Summark.
- Abstract(参考訳): ホストされたLLMサービスは、プロダクトクレームとしてモデルIDを公開する傾向にあるが、外部ユーザや監査担当者は、どのモデル構成が要求に役立ったかを検査できないことが多い。
信頼性のある監査人が要求されたIDを登録し、デプロイ前に検証資料を準備する監査者支援体制について検討する。一方、監査時間検証では、モデル内部、推論ログ、ルーティング決定、プロバイダメタデータに実行時アクセスすることなく、要求されたIDのみを使用し、出力を出力する。
SuMMARKは、ユーザ可視な推論サマリーを鍵監査面として利用する要約チャネル透かしフレームワークである。
セットアップ中、SUMMARKはアイデンティティ固有の語彙キャリアを構築し、軽量なサマリアダプタを運用し、アイデンティティごとのキャラブレートを設定できる。
デプロイ時に、キー付き統計テストは、リリースされたサマリが要求されたアイデンティティと一致しているかどうかを評価し、必要に応じて、最も登録されるアイデンティティを属性とする。
モデルファミリー、スケール、タスクドメイン全体で、SUMMARKは、タスク対応の回答品質を維持しながら、低い偽陽性率で、クロスファミリーとクロススケールの置換を確実に検出する。
さらに,FP16->INT8/INT4精度整合性診断と,境界付き後処理,リライトストレステスト,テキストのみのスプーフィングによる堅牢性について検討し,高い性能と明確な障害境界を明らかにした。
私たちのコードはhttps://github.com/trinitr0toluene/Summark.comで公開されています。
関連論文リスト
- TP-CRIV: A Framework for Third-Party Challenge-Response Identity Verification of AI Models [2.5494170736545034]
AIモデルのためのサードパーティのチャレンジ-レスポンスアイデンティティ検証(TP-CRIV)。
TP-CRIVは、検証者が請求者のモデルにホワイトボックスやAPIアクセスを持たず、サービスプロバイダからプロトコル固有の協力を必要としない、サードパーティの検証設定をターゲットにしている。
論文 参考訳(メタデータ) (2026-09-24T09:03:48Z) - Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees [57.41572512458446]
公開されたテキストからの経験的アイデンティティリークは、大きな言語モデル(LLM)とドキュメントを個人にリンクするための補助的な知識を組み合わせた攻撃者によって駆動される。
本稿では,各文書の再識別リスクの統計証明を提供する分散フリーキャリブレーションフレームワークであるConformal Privacy Auditingを紹介する。
論文 参考訳(メタデータ) (2026-09-18T05:49:54Z) - AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。
本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
論文 参考訳(メタデータ) (2026-06-14T21:46:04Z) - Stress-Testing Neural Network Verifiers with Provably Robust Instances [10.017475431603389]
我々は,地中構造ラベルを用いた検証インスタンス生成のための再利用可能なフレームワークを提案する。
また、インスタンスの硬さの異なるソースを推定可能な量の集合であるDifficulty Profileについても紹介する。
我々のフレームワークとこれらのプロファイルを用いて、5つの最先端検証ツールを評価し、異なるインスタンスが検証パイプラインの異なる側面を強調していることを示す。
論文 参考訳(メタデータ) (2026-05-16T20:56:52Z) - IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳(メタデータ) (2026-02-26T07:21:02Z) - PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。
PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。
本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
論文 参考訳(メタデータ) (2026-01-07T04:26:12Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [59.836774258359945]
OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。
ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。
CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
論文 参考訳(メタデータ) (2024-05-09T07:15:19Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳(メタデータ) (2023-11-15T14:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。