論文の概要: CertClaim: Towards Certified Model-Claim Verification for Coding-Agent Services
- arxiv url: http://arxiv.org/abs/2611.01950v1
- Date: Sun, 01 Nov 2026 14:31:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:17:48.855212
- Title: CertClaim: Towards Certified Model-Claim Verification for Coding-Agent Services
- Title(参考訳): CertClaim: Certified Model-Claim Verification for Coding-Agent Services
- Abstract要約: 既存のモデル監査手法は、デプロイが静的であるという潜在的な仮定に依存している。
本稿では,認定モデル定義検証手法(CertClaim)を提案する。
本稿では,その誤認識率と検出条件に関する理論的解析を行う。
- 参考スコア(独自算出の注目度): 32.00045874194709
- License:
- Abstract: Coding-agent services are priced by the model they claim, making the verification of such model claims crucial for their users. In this paper, we reveal that existing model auditing methods rely on a latent assumption that the deployment is static, i.e., the claimed model is always served in one reference configuration. This assumption does not hold for coding-agent services, whose providers may legitimately change the sampling preset, the reasoning mode or the system prompt without changing the model. As a result, existing methods either falsely accuse honest providers or miss cheap derivatives of the claimed model. To address this problem, we propose a certified model-claim verification method (dubbed CertClaim). Instead of testing the service against one reference deployment, we make the authorized deployments part of the claim and test whether some authorized deployment explains all the evidence of the service, by calibrating multiple evidence channels in every authorized deployment and fusing them within each deployment. We provide theoretical analyses of its false-accusation rate and detection condition. Extensive experiments on eight claims, two agent harnesses and three task suites verify the effectiveness of CertClaim, which is valid in every setting while separating substitutes far better than existing methods, as well as its resistance to potential adaptive attacks.
- Abstract(参考訳): コーディングエージェントサービスは、彼らが主張するモデルによって価格が設定され、そのようなモデルの検証がユーザにとって不可欠である。
本稿では,既存のモデル監査手法が,デプロイが静的である,すなわち,要求されたモデルが常にひとつの参照設定で提供されるという潜在仮定に依存していることを明らかにする。
この仮定は、モデルを変更することなくサンプリングプリセット、推論モード、システムプロンプトを合法的に変更できるコーディングエージェントサービスには当てはまらない。
結果として、既存の手法は、正直な提供者を誤って非難するか、主張されたモデルの安価なデリバティブを見逃すかのいずれかである。
そこで本研究では,CertClaimという認定モデル定義検証手法を提案する。
1つの参照デプロイメントに対してサービスをテストするのではなく、認証されたデプロイメントをクレームの一部にし、認証されたデプロイメントがサービスのすべてのエビデンスを説明するかどうかをテストします。
我々は,その誤認識率と検出条件を理論的に分析する。
8つのクレーム、エージェントハーネス、2つのタスクスイート、3つのタスクスイートが、既存の方法よりもはるかに優れた代替品を分離しつつ、あらゆる設定で有効であるCertClaimの有効性を検証し、また、潜在的なアダプティブアタックに対する耐性を検証した。
関連論文リスト
- CARE: Grounded Recursive Self-Improvement for Production Customer-Service Agents [50.79568861593788]
CARE(Customer-service Agent Retrospective and Evolve)は、顧客サービスでこのプロセスを運用する基盤となるRSIフレームワークである。
その目標は、フロンティアのプロプライエタリな既存企業を、デプロイ後も学び続ける、社内のミドルサイズのモデルに置き換えることだ。
論文 参考訳(メタデータ) (2026-11-02T09:39:52Z) - VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。
Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。
分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
論文 参考訳(メタデータ) (2026-10-19T17:22:36Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳(メタデータ) (2026-10-07T17:37:19Z) - Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳(メタデータ) (2026-10-01T09:17:47Z) - TP-CRIV: A Framework for Third-Party Challenge-Response Identity Verification of AI Models [2.5494170736545034]
AIモデルのためのサードパーティのチャレンジ-レスポンスアイデンティティ検証(TP-CRIV)。
TP-CRIVは、検証者が請求者のモデルにホワイトボックスやAPIアクセスを持たず、サービスプロバイダからプロトコル固有の協力を必要としない、サードパーティの検証設定をターゲットにしている。
論文 参考訳(メタデータ) (2026-09-24T09:03:48Z) - Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。
そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
論文 参考訳(メタデータ) (2026-09-10T17:58:48Z) - Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification [27.616093646501536]
攻撃者は、モデルが監査データセットで99%以上の精度を達成できるが、同じ分布から得られた新しいサンプルで30%未満の精度を達成できることを示す。
本結果は,既存のアプローチに関する注意深い証拠と,セキュアでプライバシ保護のML監査プロトコルを設計するための建設的ガイダンスを提供する。
論文 参考訳(メタデータ) (2026-07-23T22:06:12Z) - Cert-LAS: Toward Certified Model Ownership Verification for Text-to-Image Diffusion Models via Layer-Adaptive Smoothing [75.56230265544042]
大規模テキスト・ツー・イメージ(T2I)拡散モデルにより、前例のない創造的応用が可能になったが、その無許可の使用は、深刻な知的財産権の懸念を提起している。
層適応平滑化に基づくT2Iモデルのための最初の認定MOV法であるCert-LASを提案する。
特定の条件下では、悪意のある除去攻撃があっても、我々のCert-LASは信頼性の高い検証が可能である。
論文 参考訳(メタデータ) (2026-05-28T11:54:52Z) - CREDIT: Certified Ownership Verification of Deep Neural Networks Against Model Extraction Attacks [54.04030169323115]
我々は、モデル抽出攻撃(MEA)に対する認証された所有権検証であるCREDITを紹介する。
DNNモデル間の類似性を定量化し、実用的な検証しきい値を提案し、このしきい値に基づいてオーナシップ検証を行うための厳密な理論的保証を提供する。
我々は、さまざまなドメインやタスクにまたがるいくつかの主流データセットに対するアプローチを広範囲に評価し、最先端のパフォーマンスを実現した。
論文 参考訳(メタデータ) (2026-02-23T23:36:25Z) - AuthPrint: Fingerprinting Generative Models Against Malicious Model Providers [5.450474861880874]
本稿では,認証モデルの出力空間から隠れ指紋を抽出し,検知器を訓練する信頼性検証器を提案する。
検証中、この検出器は、特別なハードウェアやモデル修正を必要とせずに、新しい出力が認定されたモデルと一致しているかどうかを判断できる。
GANと拡散モデルの両方でFPR@95%TPRをほぼゼロとする実験を行った。
論文 参考訳(メタデータ) (2025-08-06T12:17:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。