論文の概要: Patching the Protocol: A Taxonomy of Pre-Registration Repairs in LLM-Proposer Experiments
- arxiv url: http://arxiv.org/abs/2611.04338v1
- Date: Tue, 03 Nov 2026 05:23:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:26:46.431214
- Title: Patching the Protocol: A Taxonomy of Pre-Registration Repairs in LLM-Proposer Experiments
- Title（参考訳）: 議定書の遵守: LLM-Proposer 実験における事前登録修復の分類
- Abstract要約: プロトコル修復(パッチ)の3つのケーススタディを報告する。
各プロトコルは、正確に1つの欠陥修正パッチを必要とした。
本稿では、パッチの2軸分類法(欠陥クラス:環境/可能性/正確性、xタイミング:データ前/データ後)を提案し、ポストデータ修復に対する検証不能なクレームを導入し、9項目のチェックリストを蒸留する。
- 参考スコア（独自算出の注目度）: 22.960695200368296
- License:
- Abstract: Pre-registration is increasingly proposed as a trust mechanism for machine-learning research involving LLM-generated content, but its canonical form assumes a frozen protocol can be executed unchanged. Software-intensive studies violate this assumption: the protocol is partly implemented, and implementations carry defects. We report a three-case study of protocol repairs ("patches") from a program where an LLM proposes executable rules that a programmatic verifier gates, across production scheduling, incentive design, and task assignment. Each protocol required exactly one defect-repair patch: three events in total. None modified a numbered judgment criterion, its threshold, or the scoring rule, and none altered already collected data; two changed pre-registered design parameters before any data were collected, each with a recorded rationale. We propose a two-axis taxonomy of patches (defect class: environmental / feasibility / correctness, x timing: pre-data / post-data), introduce a verifiable non-impact claim for post-data repairs, and distill a nine-item checklist; all nine items were exercised by at least one patch event -- an observation of use, not a validation of sufficiency. The credibility of verifier-bound, LLM-proposer studies depends less on whether patches occur than on whether they are auditable.
- Abstract（参考訳）: LLM生成コンテンツを含む機械学習研究の信頼メカニズムとして,事前登録がますます提案されているが,その標準形式は,凍結プロトコルを変更せずに実行可能であることを前提としている。
プロトコルは部分的に実装されており、実装には欠陥がある。
本稿では,LLM がプログラム検証器が生成スケジューリング,インセンティブ設計,タスク割り当てを通じてゲートする実行可能なルールを提案するプログラムから,プロトコル修復(パッチ)に関する3つのケーススタディを報告する。
各プロトコルは、正確に1つの欠陥修正パッチを必要とした。
数式判定基準、しきい値、スコアリングルールは変更されず、すでに収集されたデータも変更されず、データを集める前に2つの事前登録された設計パラメータが変更され、それぞれに記録された合理性がある。
我々は,パッチの2軸分類法(欠陥クラス:環境/可能性/正確性,xタイミング:データ前/データ後)を提案し,データ修復の検証不能なクレームを導入し,9項目のチェックリストを蒸留する。
LLM-Prooser研究の信頼性は、パッチが監査可能かどうかよりも、パッチが発生するかどうかにかかっている。
関連論文リスト
- Conflicted Records: Typed Adversarial Contracts for Auditable LLM Output Quality Enforcement [0.0]
本稿では,BiasGuard-Dを提示する: 異なるモデルファミリーから引き出された2つの敵対的役割が,タイプドクレーム文書を交換し,多数決で3つのモデルクォーラムが適応し,組み合わせた参照+セマンティック不変量によって判定が検証される。
すべてのクレーム、投票、および命令は、AI規制の下で監査可能な証明証跡を提供するタイプドレコードとして格納される。
論文 参考訳（メタデータ） (2026-10-21T12:43:35Z) - Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair [63.277419653843594]
修正プログラムの生成とテストの前に編集を優先する学習ポリシであるCodeTriageを紹介する。
ホールドアウトの修理タスクでは、CodeTriageは、各メトリックで最強のベースラインよりも21%少ないプログラム修正と12%少ないアウトプットトークンの修正を見つける。
論文 参考訳（メタデータ） (2026-10-11T20:19:05Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。
本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
論文 参考訳（メタデータ） (2026-06-14T21:46:04Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。
現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。
我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
論文 参考訳（メタデータ） (2026-04-03T02:23:25Z) - Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。
欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。
このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
論文 参考訳（メタデータ） (2025-09-11T07:07:11Z) - Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs [5.10123605644148]
自動脆弱性修復(AVR: Automated Vulnerability repair)は、プログラム修復の急激な分岐である。
近年の研究では、大きな言語モデル(LLM)が従来の手法より優れていることが示されている。
論文 参考訳（メタデータ） (2025-07-28T16:39:16Z) - Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [79.74676890436174]
本稿では,障害の局所化と修復のためのオラクルとして形式仕様を用いたDafny用のAPRツールを提案する。
プログラム内の各ステートメントの状態を決定するために、Hoareロジックの使用を含む一連のステップを通じて、障害をローカライズします。
また, GPT-4o miniが74.18%と高い修理成功率を示した。
論文 参考訳（メタデータ） (2025-07-04T15:36:12Z) - OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [59.836774258359945]
OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。
ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。
CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
論文 参考訳（メタデータ） (2024-05-09T07:15:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。