論文の概要: Oracles That Cannot Fail: Anchoring and the Expectation That Moves With the Fault
- arxiv url: http://arxiv.org/abs/2608.17214v1
- Date: Mon, 17 Aug 2026 23:56:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.164509
- Title: Oracles That Cannot Fail: Anchoring and the Expectation That Moves With the Fault
- Title（参考訳）: 失敗しないOracle: 失敗で動くOracleのアンチョーリングと期待
- Abstract要約: 判断するシステムから期待値を取得するテストオラクルは失敗しない。
欠陥が測定と期待を合わせて移動し、比較が正確にキャンセルされ、生成された入力が明らかにされることはない。
我々は、そのような値が評定に達すると、その述語を変異対象から流れる値に制限し、それを測定する、さらに3つのチャンネルを命名する。
- 参考スコア（独自算出の注目度）: 0.8741110159894001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A test oracle that obtains its expected value from the system it is judging cannot fail. If a fault moves measurement and expectation together the comparison cancels exactly, and no generated input will reveal it. The defect is in the oracle and not in the input space. We call this oracle anchoring. An expectation is specification-anchored when composed from values fixed outside the code under mutation, and state-anchored when it flows, directly or transitively, from that code. The expected-value form is named in the test-smell literature but not measured in any study we retrieved. We name three further channels by which such a value reaches a verdict, restrict the predicate to values flowing from the mutate target, and measure it. The subject is a deployed air traffic control simulator with 12 model-free property suites. Across 4 modules and 366 mutants these add 3 mutants of detection over the hand-written tests, while remaining 6 to 33 times as efficient per test. We then intervene three times, predicting each outcome first. Re-anchoring one holding oracle on published procedure, changing no production code, recovers 8 of 46; state-anchoring a healthy debounce oracle costs 4 of 19; and a reference model on that population kills exactly what specification anchoring kills, placing the risk in anchoring and not in model-freedom. Of 6 instances ablated, the two sizing their comparison carry 11 of the 12 recovered mutants. The published smell rule would revert our repair. Writing the oracle this analysis said was missing then exposed two defects deployment had not surfaced. All measurements come from one system by one author.
- Abstract（参考訳）: 判断するシステムから期待値を取得するテストオラクルは失敗しない。
障害が計測と予測を一緒に動かせば、比較は正確にキャンセルされ、生成された入力は明らかにされない。
欠陥はオラクルにあり、入力空間にはない。
私たちはこの神託をアンカーと呼ぶ。
期待は、突然変異の下でコード外部に固定された値からなり、そのコードから直接、または、推移的に流れた値から成るときに、仕様アンコールされる。
期待値の形式はテスト・スメル文献に記載されているが、回収した研究では測定されていない。
我々は、そのような値が評定に達すると、その述語を変異対象から流れる値に制限し、それを測定する、さらに3つのチャンネルを命名する。
対象は12のモデルフリーなプロパティースイートを備えた航空交通管制シミュレータである。
4つのモジュールと366のミュータントが手書きテストに対して3つのミュータントを追加し、1回のテストの6倍から33倍の効率を保った。
次に3回介入し、まずそれぞれの結果を予測します。
1つの保持オラクルを公開手順で再アンカーし、生産コードを変更しず、46の8の回復、健全な宣言託オラクルをステートアンカーすることは19の4のコスト、そしてその人口の参照モデルは、どの仕様アンカーが致命傷を負うかを正確に決定し、アンカーのリスクを保ち、モデルフリーダムにしない。
6つの変異体のうち2つのサイズは、回収された12の変異体のうち11個を担っている。
発覚した匂いの規則は我々の修理を復活させるだろう。
この分析によると、オラクルの記述には欠落があったが、2つの欠陥が表面化していなかった。
すべての測定は、1人の著者によって1つのシステムから得られます。
関連論文リスト
- IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。
ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。
信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
論文 参考訳（メタデータ） (2026-09-09T17:31:29Z) - Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows [0.0]
複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。
各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。
合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
論文 参考訳（メタデータ） (2026-09-07T22:10:54Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳（メタデータ） (2026-08-30T10:21:34Z) - Calibrating Criterion Revision in LLM Agents: Failure Modes and a Trace-Anchored Protocol [3.202978695204522]
言語モデルエージェントは、失敗後に改善したり、成功と見なすものを再検討することなく、エピソード間でテキストを運ぶことができる。
CMB-0.1を12例,腕4例で検討した。
モデルトライアルが5つの条件すべてを満たすことはないが、このゼロは一般能力の欠如を証明していない。
論文 参考訳（メタデータ） (2026-08-21T04:21:28Z) - One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models [46.83445434865936]
自己進化型ハーネスは、エージェントが自身のロールアウトを検査し、プロンプト、ツール、メモリを編集するクローズドループシステムである。
ベンチマーク固有の適応、言語固有のエンジニアリング知識、あるいは基礎となるモデルの制限に対する補償をエンコードしているかどうかは不明だ。
論文 参考訳（メタデータ） (2026-08-10T19:45:45Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable [14.867869624585886]
一つの誤りの少ないオラクルがいかに能力の主張を膨らませるかを示す。
エージェント書きのプロシージャは、裁判官の下で人間書きのプロシージャを倒すことができるが、客観的な操作はできない。
論文 参考訳（メタデータ） (2026-08-02T04:15:12Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - The Test Oracle Problem in Synthetic LLM-as-Judge Corpora: Disappearance, Distortion and a Validation Protocol [0.0]
LLM-as-judgeシステムにおけるバイアスの研究は、通常、LLMに実数と対になる幻覚的な答えを生成させ、その両方を裁判官に提示することで合成コーパスを構築する。
我々は、この世代が静かに失敗する事例を報告し、失敗モードは偶発的ではなく構造的であると主張するために使用します。
最小の摂動に基づくコーパスに注入された類似の断層は、ゼロコストでゼロヒューマンの金-負の弦比較によって100%精度で捕捉される。
論文 参考訳（メタデータ） (2026-07-15T11:12:54Z) - Form, Not Content? A Preregistered, Placebo-Controlled Evaluation of Learned Error-Conditioned Self-Repair Through Prompts and Weights in Frozen Small Code Models [0.0]
本稿では,Popperian Placebo制御評価法(PoPE:Popperian Placebo-control Evaluation)を紹介する。
PoPEでは、エラーコンテンツとチャネル固有のプラセボがペアになって、事前に宣言されたスキャフォールドを保持しながら、タスク関連コンテンツを非難したり、タスクエラーの割り当てをデアレンジする。
発見は等価性や非劣等性の証拠にはならない。
論文 参考訳（メタデータ） (2026-07-14T16:59:42Z) - From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs [0.5156484100374058]
大規模言語モデル(LLM)は、自然言語ビジネス要求から直接一般化可能なテストオラクルを生成することができる。
LLMは非自明な一般化を実現するが、バグレベルとモデルレベルのばらつきは大きい。
概念実証のパイロットとして、これらの発見は予備的であり、実現可能性を確立し、より大規模な経験的調査を動機付けることを意図している。
論文 参考訳（メタデータ） (2026-07-11T12:17:49Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。