論文の概要: Test Before You Deploy: Governing Updates in the LLM Supply Chain
- arxiv url: http://arxiv.org/abs/2604.27789v1
- Date: Thu, 30 Apr 2026 12:32:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.085576
- Title: Test Before You Deploy: Governing Updates in the LLM Supply Chain
- Title（参考訳）: デプロイ前にテストする - LLMサプライチェーンのアップデートを監督する
- Authors: Mohd Sameen Chishti, Damilare Peter Oyinloye, Jingyue Li,
- Abstract要約: 大規模言語モデル(LLM)は、ソフトウェアシステムの中核的な依存関係としてますます使われています。
LLMは明示的なバージョン変更なしにプロバイダ側の更新を通じて継続的に進化する。
本稿では,3つのコンポーネントをベースとしたデプロイメントサイドガバナンスフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.6704226968275253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used as core dependencies in software systems. However, the hosted LLM services evolve continuously through provider-side updates without explicit version changes. These silent updates can introduce behavioral drift, causing regressions in functionality, formatting, safety constraints, or other application-specific requirements. Existing approaches focus primarily on regression testing or versioning but do not provide deployer-side mechanisms for governing compatibility during opaque model evolution. This paper proposes a deployment-side governance framework based on three components: clearly defined rules for how the model is allowed to behave (production contracts), focused testing organized by deployment risk categories (risk-category-based testing suite), and release checkpoints that block updates unless they meet defined safety and performance standards (compatibility gates). Through exploratory validation across multiple LLM versions, we provide evidence that targeted testing in specific risk areas can uncover performance regressions that overall metrics miss. We also identify several open research challenges, including how to systematically build effective test suites, how to set reliable performance thresholds in non-deterministic systems, and how to detect and explain model drift when providers offer limited transparency. Overall, we frame LLM update management as a software supply chain governance problem and outline a research agenda for putting deployer-side compatibility controls into practice.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェアシステムの中核的な依存関係としてますます使われています。
しかし、ホストされたLLMサービスは、明示的なバージョン変更なしにプロバイダ側の更新を通じて継続的に進化する。
これらのサイレントアップデートは、振る舞いのドリフトを導入し、機能やフォーマット、安全性の制約、その他のアプリケーション固有の要件のレグレッションを引き起こす可能性がある。
既存のアプローチは主に回帰テストやバージョニングに重点を置いているが、不透明なモデルの進化中に互換性を管理するためのデプロイ側メカニズムを提供していない。
本稿では、モデルがどのように振る舞うか(本番契約)を明確に定義したルール、デプロイメントリスクカテゴリ(リスクカテゴリベースのテストスイート)によって組織された集中テスト、安全とパフォーマンスの基準(互換性ゲート)を満たさない限り更新をブロックするリリースチェックポイントの3つのコンポーネントに基づくデプロイメントサイドガバナンスフレームワークを提案する。
複数のLLMバージョンにわたる探索的検証を通じて、特定のリスク領域で対象とするテストが、全体的なメトリクスが欠落するパフォーマンスの回帰を明らかにすることができることを示す。
また、効果的なテストスイートを体系的に構築する方法、非決定論的システムにおける信頼性の高いパフォーマンスしきい値の設定方法、プロバイダが限定的な透明性を提供する場合のモデルドリフトの検出と説明方法など、いくつかのオープンな研究課題も特定しています。
全体として、LSM更新管理をソフトウェアサプライチェーンのガバナンス問題とみなし、デプロイ側の互換性制御を実践するための研究課題を概説する。
関連論文リスト
- Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims [2.0403981727850233]
現代の大規模言語モデル(LLM)システムは、事前トレーニングされた重み付け、微調整アダプタ、データセット、依存関係パッケージ、コンテナイメージといったサードパーティの成果物から組み立てられている。
このスピードには、妥協された依存関係、悪意のあるハブアーティファクト、安全でないデフォールト化、偽造された前兆、バックドアモデルなど、サプライチェーンのリスクが伴う。
本稿では,信頼された環境にアーティファクトが認められる前に,クレームエビデンスを検証し,安全なローディングと静的スキャンポリシーを適用し,セキュアなシリアル配置制約を適用した,証明対応のプロモーションゲートを提案する。
論文 参考訳（メタデータ） (2026-03-30T20:37:48Z) - Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety [32.40159096400358]
大規模言語モデル(LLM)エージェントは、テキスト生成のみではなく、ツールコールに安全を集中させる外部ツールを通じて、ますます機能するようになっている。
最近のベンチマークでは、さまざまな環境やリスクカテゴリにまたがるエージェントを評価しているが、根本的な疑問は解決されていない。
まず、有効なツールコールと多様なユーザシナリオを列挙して、テストケースを体系的に生成する列挙子。次に、非セマンティックで定量的な尺度であるルール耐性を導入する。
論文 参考訳（メタデータ） (2026-03-18T20:06:47Z) - A Trace-Based Assurance Framework for Agentic AI Orchestration: Contracts, Testing, and Governance [0.22940141855172028]
本稿では,Large Language Models (LLM) を用いたエージェントAIシステムの保証フレームワークを提案する。
実行は、明示的なステップとトレースコントラクトを備えたメッセージ・アクション・トレース(MAT)として実装される。
このフレームワークは、有界摂動に対する予算付き反例探索として定式化されたストレステストを含む。
論文 参考訳（メタデータ） (2026-03-18T10:23:48Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。
軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。
我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
論文 参考訳（メタデータ） (2026-02-18T14:55:35Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - BELLS: A Framework Towards Future Proof Benchmarks for the Evaluation of LLM Safeguards [43.86118338226387]
LLMセーフガード評価ベンチマーク(BELLS)について紹介する。
BELLSは構造化されたテストのコレクションで、確立された障害テスト、新しい障害テスト、次世代アーキテクチャテストの3つのカテゴリに分けられる。
私たちは、データセットのインタラクティブな可視化とともに、MACHIAVELLI環境を使用して、最初の次世代アーキテクチャテストを実装し、共有します。
論文 参考訳（メタデータ） (2024-06-03T14:32:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。