論文の概要: Verification-Gated Redraw and Repair for Local Small Language Models: A Paired Evaluation

• arxiv url: http://arxiv.org/abs/2611.00707v1
• Date: Sat, 31 Oct 2026 07:01:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:16:13.749182
• Title: Verification-Gated Redraw and Repair for Local Small Language Models: A Paired Evaluation
• Title（参考訳）: 局所小言語モデルの検証学習と修復 : ペア評価
• Abstract要約: Redrawは最終テストの成功を51.4%から59.7%に、Ornithは55.6%から62.5%に増やした。 公開チェックでは、25人のOrnithと11人のGemma候補を誤って受け入れ、受け入れは正しい保証ではないことを証明している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Executable checks can reject incorrect model-generated programs, but rejection alone does not determine whether fresh sampling or diagnostic repair is preferable. We present a controlled, resource-bounded conceptual replication and extension of established recovery policies: a single answer (N), one verification-triggered redraw (R), and one diagnostic repair (D), for Ornith 1.5 9B and Gemma 4 E4B served locally in nominal 4-bit MLX format. The frozen evaluation contains 72 tasks: 40 HumanEval+ problems, 16 SQL tasks and 16 shell tasks. Policies share initial responses and use only public checks for online decisions; every candidate is model-generated. Each task has one stochastic trajectory per model, so the study does not estimate variation across independent sampling blocks. Redraw increases observed final-test success from 51.4% to 59.7% for Ornith and from 55.6% to 62.5% for Gemma. Diagnostic repair reaches 52.8% and 63.9%, respectively. None of four internally prespecified paired contrasts is significant after Holm correction (minimum adjusted p = 0.125). Public checks falsely accept 25 Ornith and 11 Gemma candidates, demonstrating that acceptance is not a correctness guarantee. A post-review audit of initial answers gives perfect-retry upper bounds of 76.4% and 87.5%, respectively: accepted initial errors cannot trigger recovery under the fixed gate. This one-block, resource-bounded study provides a finite-cohort experimental record, not policy equivalence, a general model ranking or universal reliability
• Abstract（参考訳）: 実行可能チェックは、誤ったモデル生成プログラムを拒否することができるが、拒否のみは、新しいサンプリングや診断の修正が望ましいかどうかを判断しない。 本報告では,Ornith 1.5 9B と Gemma 4 E4B に対して,単一応答 (N), 1つの検証トリガード・レッドロウ (R), 1つの診断修復 (D) を局所的に4ビット MLX フォーマットで提供する。 凍結評価には72のタスク、40のHumanEval+問題、16のSQLタスク、16のシェルタスクが含まれている。 ポリシーは初期応答を共有し、オンライン決定のための公開チェックのみを使用する。 各タスクはモデル毎に1つの確率軌道を持つため、独立したサンプリングブロック間でのばらつきを見積もることはできない。 Redrawは最終テストの成功を51.4%から59.7%に、Ornithは55.6%から62.5%に増やした。 診断率は52.8%、63.9%に達する。 ホルム補正(最小調整p = 0.125)の後、4つの内在的に規定された対のコントラストのうち、重要なものは存在しない。 公開チェックでは、25人のOrnithと11人のGemma候補を誤って受け入れ、受け入れは正しい保証ではないことを証明している。 初期回答のレビュー後の監査では、それぞれ76.4%と87.5%の完全再試行上限が与えられている。 この1ブロックの資源有界な研究は、政策同値ではなく、有限コホートな実験記録、一般モデルランキング、あるいは普遍的信頼性を提供する。

関連論文リスト

• EvalRx: Agentic Diagnosis and Verified Repair of Foundation Models [38.55561141708763]
  EvalRxは,統計的に基盤としたモデル診断と修復のためのオープンソースフレームワークである。 EvalRxは、系統的な障害モードを発見し、候補メカニズムを探索し、偽装可能な仮説を定式化し、それらを検証する。 EvalRxは障害を計測するだけでなく、診断と修復のための監査可能なプロセスをサポートすることができる。
  論文  参考訳（メタデータ） (2026-10-19T04:28:22Z)
• Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence [5.331469232678577]
  信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。 RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を採用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。
  論文  参考訳（メタデータ） (2026-10-15T16:12:29Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
  メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。 我々はこの失敗を2つの歴史監査で調査する。 パイロットは6つの合成機構の24の履歴ペアを評価する。
  論文  参考訳（メタデータ） (2026-09-17T10:51:37Z)
• Does Fault Localization Beat a Fresh Attempt? A Placebo-Controlled Study of Test-Guided Code Repair [0.0]
  フォールトローカライゼーションは、失敗したテストが意味するステートメントにコードモデルの修復に集中することができるが、ターゲットの編集が成功するのは、それが小さいためだけである。 我々はこれらの説明を3つの腕で分け、同じ失敗候補に当てはめます。 3つのフリーズ26-32Bモデル、3つのベンチマーク、488の候補が失敗し、3つの結果が続いた。
  論文  参考訳（メタデータ） (2026-09-01T07:48:51Z)
• DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
  ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。 一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
  論文  参考訳（メタデータ） (2026-07-31T05:34:02Z)
• When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG [0.0]
  多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。 問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。 故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
  論文  参考訳（メタデータ） (2026-06-22T00:08:00Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。