論文の概要: Broken on Arrival: Silently Defective LLM Artifacts in Public Model Registries and How to Catch Them
- arxiv url: http://arxiv.org/abs/2609.05881v1
- Date: Sat, 05 Sep 2026 05:05:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.160509
- Title: Broken on Arrival: Silently Defective LLM Artifacts in Public Model Registries and How to Catch Them
- Title（参考訳）: 公立モデルレジストリにおける無防備なLCMアーティファクトの破壊とキャッチ方法
- Abstract要約: 我々は公式のOllamaライブラリから量子化されたコード対応モデルアーティファクトを実行し、8GB以下で15のモデルラインを、HuggingFace上で最もダウンロードされたコミュニティリポジトリから22のモデルラインで実行します。
それぞれが15タスクのスモークスイートを実行して、健康なアーティファクトが通過するのに失敗し、容疑者は164タスクの完全な評価、第2のバックエンド、独立したテンプレートによる同じモデルの変換、およびレフェリーとしての量子化に直面した。
公式ライブラリには、サイレントに欠陥のある5つのアーティファクト、Qwen2.5-Coder-3B変換のバッチと1つのphiが含まれている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developers increasingly run large language models locally by pulling quantized GGUF artifacts from public registries, yet nothing in the distribution pipeline functionally tests these conversions before they reach users. We executed 327 quantized code-capable model artifacts: 305 from the official Ollama library, spanning 15 model lines at every eligible quantization level at or under 8 GB, and 22 from the most-downloaded community repositories on HuggingFace. Each ran a 15-task smoke suite calibrated so that healthy artifacts pass while a known-broken one fails; suspects then faced full 164-task evaluation, a second inference backend, an independent distributor's conversion of the same model and quantization as referee, and, for community files, re-testing under the artifact's own template. The official library carries five silently defective artifacts, a batch of four Qwen2.5-Coder-3B conversions and one phi3.5-mini conversion, that solve zero of 164 tasks and zero of the smoke suite on both backends while independent conversions of the same models work: 1.6% of official artifacts, 2 of 29 model-and-size conversion groups. The adjudication chain cleared small-model artifacts that a naive threshold would condemn as broken when they are merely collapsed by extreme quantization, and it exposed two older community conversions that degrade badly on CUDA yet pass on Metal: not defective files but backend-dependent failures, a third phenomenon no registry currently tests for. Two confirmed defects produce output whose surface statistics sit inside the healthy range, invisible to any low-noise heuristic short of execution. We release the audit dataset, the quantcheck acceptance-testing tool, and disclosure reports for every confirmed defect (https://github.com/aditi-p31/quantcheck), and argue that model registries need the acceptance gate that package registries already run.
- Abstract（参考訳）: 開発者は、パブリックレジストリから量子化されたGGUFアーティファクトを引き出して、ローカルで大規模言語モデルをますます実行しますが、配布パイプラインには、ユーザに到達する前にこれらの変換を機能的にテストするものはありません。
公式のOllamaライブラリから305行,有効な量子化レベル毎に8GB以下で15行,HuggingFace上で最もダウンロードされたコミュニティリポジトリから22行,という,327の量子化コード対応モデルアーティファクトを実行しました。
疑わしい人は164タスクの完全な評価、第2の推論バックエンド、独立したディストリビュータによる同じモデルの変換とレフェリーとしての量子化、そしてコミュニティファイルでは、アーティファクト自身のテンプレートの下で再テストを行う。
公式ライブラリには5つの静かな欠陥のあるアーティファクト、Qwen2.5-Coder-3B変換のバッチと1つのphi3.5-mini変換があり、両方のバックエンドで164タスクのゼロとスモークスイートのゼロを解決し、同じモデルの独立したコンバージョンが動作している。
命令チェーンは、極端に量子化によって崩壊しただけで、否定的なしきい値が壊れたと非難する小さなモデルのアーティファクトをクリアし、CUDAでひどく劣化した2つの古いコミュニティ変換をMetalに公開しました。
確認された2つの欠陥は、表面統計が健康範囲内にあり、低騒音のヒューリスティックな実行不足に見えない出力を生成する。
我々は、監査データセット、Quantcheckの受け入れテストツール、および確認された欠陥のすべて(https://github.com/aditi-p31/quantcheck)の開示レポートをリリースし、モデルレジストリは、既にパッケージレジストリが実行されている受け入れゲートが必要であると主張している。
関連論文リスト
- Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳（メタデータ） (2026-08-21T16:45:00Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Auto: The AGI Compiler [0.0]
Autoは、ライブエージェントの振る舞いを記録し、どの部分が秘密に決定論的かを測定し、それを検証プログラムや蒸留専門家に抽出し、認識バイナリを出力するコンパイラである。
我々は,「AGIコンパイラ」を狭義で実証可能な意味で使用し,新規体験を,未知の知識を計測しながら,永続的で検証された,ほぼ自由なスキルに自律的に変換するシステムを開発した。
論文 参考訳（メタデータ） (2026-07-05T23:09:24Z) - Benchmarking API Drift in LLM-Generated Quantum Code Across Successive SDK Versions [0.0]
大規模言語モデルは、プラウシブルな量子コードを生成することができるが、ユーザが要求する特定のソフトウェア開発キット(SDK)バージョンを確実にターゲットできるかどうかは不明である。
本稿では,バージョン忠実度測定のベンチマークであるquantum-api-driftを紹介する。
Qiskitは、v0.43、v1.3、v2.0でかなりのインターフェース変更が行われた代表的量子SDKである。
論文 参考訳（メタデータ） (2026-07-05T01:16:12Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。
これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。
5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
論文 参考訳（メタデータ） (2026-06-22T16:17:30Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。
トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。
利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
論文 参考訳（メタデータ） (2026-04-28T13:35:31Z) - Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。
モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。
単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
論文 参考訳（メタデータ） (2024-10-26T18:34:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。