論文の概要: Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency
- arxiv url: http://arxiv.org/abs/2608.16003v1
- Date: Mon, 17 Aug 2026 01:41:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.498346
- Title: Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency
- Title（参考訳）: 聴覚・聴覚の文脈がLLM検証閾値をLeniencyにシフトさせる
- Abstract要約: 我々は,現時点のタスクを個別に保持するプロセスベンチトレースに対して,擬似アラームを計測する。
完了した監査 -> モデルのコンテキストにすでにある修復エピソードは、15のモデルxワードの組み合わせのうち15の偽のアラームを低くする。
- 参考スコア（独自算出の注目度）: 0.025718125188898048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated checking pipelines increasingly place one language model as the checker and another (or the same one) as the fixer. We ask whether that wiring changes what the checker reports. Measuring false alarms on human-verified-correct ProcessBench traces with the present task held byte-identical, we find that a completed audit -> repair episode already in the model's context lowers false alarms in 15 of 15 model x wording combinations, by 2.8 to 11.5 percentage points against a length-matched non-audit control, a 9 to 25% reduction relative to that control. The direction contradicts what the accumulated-message literature predicts: an episode whose audit reported an error lowers false alarms further still, at all five wordings on the model where that manipulation lands cleanly, though a negativity asymmetry predicts more flagging. Decomposing the episode finds repair content and audit verdict complementary: different components carry the effect on different model families. Signal-detection analysis locates the change in the threshold rather than in discrimination -- the criterion moves in 15 of 15 combinations and survives correction in 13 while d' survives in none, though the d' test is half as sensitive by construction -- and a hand audit of 50 false alarms finds 82% simply wrong, so at this operating point the shift need not be harmful. With reasoning enabled the effect keeps its relative size on both models tested, and the threshold reading holds there too.
- Abstract（参考訳）: 自動チェックパイプラインは、ある言語モデルをチェッカーとして、別の言語(あるいは同じもの)をインストーラとして配置するようになっている。
私たちは、その配線がチェッカーの報告内容を変えるかどうか尋ねる。
検証済みのプロセスベンチトレースにおける誤報を,現在実施中のタスクと同一視して測定した結果,モデルのコンテキストにすでにある完了監査-> 修復エピソードが15のモデルx単語の組み合わせの15の誤報を2.8～11.5ポイント低減し,その制御に対する9～25%の低減効果が得られた。
この方向は、蓄積されたメッセージの文献が予測するものと矛盾する: 監査がエラーを報告したエピソードは、偽のアラームをさらに低くするが、その操作がきれいに着地するモデル上の全ての5つのワードは、負の非対称性はよりフラグングを予測する。
異なるコンポーネントが異なるモデルファミリに影響を与えている。
信号検出分析(Signal-detection analysis)は、識別よりもしきい値の変化を検知する -- 基準は15の組合せのうち15で移動し、13で補正を継続するが、d'テストは建設によって半分の感度を持つが、d'テストは13で生存する。
推論によって、この効果はテストされた両方のモデルに対する相対的なサイズを維持し、しきい値の読み取りもそこに保持される。
関連論文リスト
- Detecting Safety Training Modification in Language Models via Activation Analysis [0.0]
本稿では,アクティベーション空間における安全関連概念の幾何学的構造を測定することで,言語モデルにおける安全訓練の修正を検出するツールであるAMSを紹介する。
4つのアーキテクチャファミリにまたがる14のモデル構成のAMSを検証する。
メカニスティック分析は、アクティベーション空間のシグネチャによって区別される安全訓練の修正の4つのクラス分類を識別する。
論文 参考訳（メタデータ） (2026-08-06T03:57:38Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。
ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。
どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
論文 参考訳（メタデータ） (2026-07-22T13:34:17Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳（メタデータ） (2026-03-22T21:50:28Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - Detecting Adversarial Fine-tuning with Auditing Agents [38.964973163076586]
本稿では, モデル展開前に有害な微調整を検知できることを実証し, 微調整監査エージェントの概念を紹介する。
文献からの8つの強力な微調整攻撃と5つの良質な微調整モデルに対する検出手法の評価を行った。
最も有望なのは、データセットの安全性評価とコンテンツモデレーションを回避する隠蔽暗号攻撃を検出することができることだ。
論文 参考訳（メタデータ） (2025-10-17T23:01:16Z) - How Sampling Affects the Detectability of Machine-written texts: A Comprehensive Study [39.866323800060066]
大きな言語モデル(LLM)はますます一般的になってきており、人間による内容とは区別がつかないことが多い。
最近の多くの検出器は精度がほぼ完璧であると報告しており、AUROCのスコアは99%を超えている。
本研究では,サンプリングに基づく復号化が検出可能性に与える影響について検討する。
論文 参考訳（メタデータ） (2025-10-15T15:36:45Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。