論文の概要: Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable
- arxiv url: http://arxiv.org/abs/2608.00981v1
- Date: Sun, 02 Aug 2026 04:15:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.043355
- Title: Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable
- Title（参考訳）: オーディティング・ディスカバリーの主張: 否定的な側面が決定可能なエージェント科学の2段階的基準
- Abstract要約: 一つの誤りの少ないオラクルがいかに能力の主張を膨らませるかを示す。
エージェント書きのプロシージャは、裁判官の下で人間書きのプロシージャを倒すことができるが、客観的な操作はできない。
- 参考スコア（独自算出の注目度）: 14.867869624585886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a self-improving AI-for-science system claims a new capability, the evidence is usually a benchmark delta, a description-length gate, or a p-value. None separates a real gain from extra search, from a changed verifier, or from adaptation to a fallible oracle. We build a two-sided audit whose negative side is a formal fact: a pseudoknot-free oracle provably cannot represent a crossing base pair, so the prior verifier's range is bounded exactly, offline, before any run. "New" is relative to the agent's prior self, never to the base model. First, how far a single fallible oracle can inflate a capability claim. An invented, solver-free operator solves 43/60 crossing RNA targets under the predictor it optimizes, above a context-free floor of 0/60; under three predictors, 1/60 survives. Paired on the same 43 targets, a predictor the operator never saw confirms 2 of its designs against 26 for a minimum-free-energy solver (p = 8e-7). No statistic computed from the system and its own oracle sees that gap. Second, agent-written procedures can beat a human-written one under a judge no objective can flatter, at a fraction of the compute. Of six frontier models, the two whose operators ran without timeouts carry over at 0.293 against our 0.095 (n = 951 paired units, target-clustered [+0.108, +0.297], p = 5e-5) while spending 4.6-10x fewer oracle calls. Three rungs: difference under an outside adjudicator (reached), not bought with compute (reached, both directions), mechanism identified and transferable (not reached; seven candidates tested, none moves the statistic). The ceiling is the panel itself: its three predictors share nearest-neighbour thermodynamic parameters, two agreeing at kappa = 0.673. The audit is as unsparing about our own system: matched undirected search is an exact zero, and a search-free probe puts 84% of our headline effect on targets a random sequence already solves.
- Abstract（参考訳）: 自己改善型のAI-for-scienceシステムが新たな能力を主張する場合、エビデンスは通常、ベンチマークデルタ、説明長ゲート、あるいはp値である。
誰も、余分な探索、変更された検証子、または誤りのあるオラクルへの適応から真のゲインを分離しない。
疑似結び目のないオラクルは、確実に交差するベースペアを表現できないので、事前検証者の範囲は、実行前に正確に、オフラインに制限される。
「新」はエージェントの以前の自己に対するものであり、ベースモデルとは無関係である。
第一に、一つの誤りを犯すオラクルが、能力の主張をどれだけ膨らませるか。
発明されたソルバフリーオペレーターは、その最適化した予測器の下で43/60のRNA標的を探索し、3つの予測器の下では1/60が生存する。
同じ43の目標に装備された予測器は、最低自由エネルギーの解決器(p = 8e-7)について26に対して2つの設計を確認しなかった。
システムとそれ自身の神託から計算された統計は、そのギャップを見ることができる。
第2に、エージェント記述プロシージャは、コンピュータのごく一部で、客観的にフラット化できない判断の下で、人書きのプロシージャを破ることができる。
6つのフロンティアモデルのうち、オペレーターがタイムアウトなしで走った2つのモデルは、0.095(n = 951対、ターゲットクラスタ化された [+0.108, +0.297], p = 5e-5)に対して0.293で転送され、4.6-10倍少ないオラクル呼び出しに費やされた。
3つのラグ: 外部の代弁者の下での差(分岐)、計算で購入されない差(分岐、両方の方向)、メカニズムの特定と転送(到達しない7つの候補、試験された7つの候補、統計を動かさない)。
天井はパネルであり、3つの予測器は近くの熱力学パラメータを共有し、2つはカッパ = 0.673 で一致する。
一致した無向探索はゼロであり、検索不要のプローブは、すでに解決したランダムなシーケンスに対して、私たちの見出し効果の84%を目標に与えます。
関連論文リスト
- CAROL: Context-Aware Online Learning for Fuzzer Scheduling [30.06459480586687]
アンサンブルファズリングはターゲット上で複数のファズーを動作させ、スケジューラはそれらの間のCPU時間を割り当てる。
本稿では,各ファザの現在の状況を利用したオンラインスケジューラCAROLを紹介する。
CAROLは、結果が異なるたびに3つのアンサンブルスケジューリングベースラインのそれぞれよりもユニークなバグをトリガーする。
論文 参考訳（メタデータ） (2026-09-06T18:24:28Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳（メタデータ） (2026-07-20T22:40:36Z) - A Verifiable Search Is Not a Learnable Chain-of-Thought [0.0]
短いプログラムで解けるタスクは、そのチェーン・オブ・ソートとしてモデルに教えられると仮定する傾向にある。
本稿では,特定可能な手続きのクラスに対して仮定が失敗することを示す。
論文 参考訳（メタデータ） (2026-06-20T04:52:14Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives [48.545980031973556]
GAMBITは、インポスタ検出器を評価するための3つの評価モードと2つの独立したスコアを持つベンチマークである。
ベンチマークには、240の共進化型インポスタ戦略にまたがる27,804のラベル付きインスタンスのデータセットが付属している。
論文 参考訳（メタデータ） (2026-05-09T16:07:23Z) - The Compliance Gap: Why AI Systems Promise to Follow Process Instructions but Don't [0.0]
私たちはこれを、コンプライアンスギャップ(Compliance Gap)と呼んでいる: 事実の真理性と修辞的な物質とは異なる、AIの第3の軸である。
約75のベンチマークは結果の忠実度を測定している。
BS-Benchは、プロセスコンプライアンスのための最初のオープンベンチマークで、7つのツールコールログ監査メトリクスと公開リーダボードがあります。
論文 参考訳（メタデータ） (2026-05-03T08:11:15Z) - Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News [47.03825808787752]
人間は、ニュース記事が人によって書かれたか、あるいは大きな言語モデル(LLM)によって書かれたかを知ることができますか?
本稿では,人間対機械(人間対機械)と正当性判定(正当性対偽判定)を連続的なスケールで測定する研究プラットフォームであるJiceGPTを用いて,この問題を考察する。
筆者らは,(1) 被験者が人文テキストから機械生成物を確実に識別できないこと,(2) 認知疲労による約30回の連続的な評価の後,その精度が低下すること,の5つを報告した。
論文 参考訳（メタデータ） (2026-04-04T15:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。