論文の概要: Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims

• arxiv url: http://arxiv.org/abs/2610.27610v1
• Date: Tue, 20 Oct 2026 04:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.631866
• Title: Auditing the Product, Not the Recursion: The Evaluation Evidence Behind Recursive Self-Improvement Claims
• Title（参考訳）: 再帰ではなく製品を評価する:再帰的自己改善の主張の背後にある評価証拠
• Abstract要約: 再帰的な自己改善はAIシステムがさらなる改善をもたらすことを約束する。 既存の調査では、これらの主張が必要とする証拠が特定されているが、その証拠が測定されていないと報告される頻度が報告されている。 我々は,2026年10月に凍結した再現可能なarXiv検索フレームにおける114の適格な研究のフルテキスト符号化を通じて,本問題を検証した。
• 参考スコア（独自算出の注目度）: 4.327699139300454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive self-improvement (RSI) promises AI systems, such as self-evolving LLM agents, that become better at producing further improvements. Evaluating this promise requires separating product claims about the final system from process claims about the improvement process itself. Existing surveys specify the evidence these claims require, but how often studies report that evidence remains unmeasured. We examine this question through full-text coding of 114 eligible studies in a reproducible arXiv search frame frozen in October 2026, including 90 that describe their own systems as RSI. The codebook links claims to evaluation designs. Independent human coding, third-reader adjudication, and a separate blind coding of improver comparisons assess coding reliability. Among the 90 RSI studies, 90% report product evaluation beyond development tasks under a broad criterion that includes partial or unstated separation, while 60% report evaluation on tasks unused for selection. Only 22% audit two or more reruns of the full loop. In a human-coded random sample, the RSI studies show the same contrast: 45% evaluate on tasks unused for selection and 14% audit two or more reruns. Of the 26 studies claiming a better improvement procedure, 23 report a related comparison, but only 4 compare earlier and later procedures from identical starting artifacts at a matched budget. Across these results and a comparison set of established works, evidence for repeatability and improved procedures remains less developed than product evaluation. Three propositions explain how selection effects, shared evaluator errors, and changes in system state limit what product evaluations can establish. Together, the findings support a claim-indexed reporting standard that connects each claim to the evaluation design needed to test it.
• Abstract（参考訳）: 再帰的自己改善(Recursive self-improvement、RSI)は、自己進化型LLMエージェントのようなAIシステムを約束する。 この約束を評価するには、最終システムに関するプロダクトクレームと、改善プロセス自体に関するプロセスクレームを分離する必要があります。 既存の調査では、これらの主張が必要とする証拠が特定されているが、その証拠が測定されていないと報告される頻度が報告されている。 我々は,2026年10月に凍結した再現可能なarXiv検索フレームにおける114の適格な研究のフルテキスト符号化を通じて,本問題を検証した。 コードブックはクレームと評価デザインをリンクします。 インディペンデント・ヒューマン・コーディング、サード・リーダー・アジュディテーション、ブラインド・コーディング・オブ・プロバイザ・比較は、コーディングの信頼性を評価する。 90のRSI研究の中で、90%は部分的または未定の分離を含む幅広い基準の下で開発タスクを超えて製品評価を報告し、60%は選択に使用されていないタスクに関する評価を報告している。 フルループの2つ以上の再実行を監査したのは22%に過ぎない。 人間のコードによるランダムサンプルでは、RSI研究は同じコントラストを示しており、45%が未使用のタスクを評価し、14%が2つ以上の再実行を監査している。 改善手順の改善を主張する26の研究のうち、23は関連する比較を報告したが、一致した予算で同一の開始アーティファクトから前と後の手順を比較するのはわずか4回しかなかった。 これらの結果と、確立された一連の成果を比較することで、再現性と改善手順の証拠は、製品評価よりも発展しないままである。 3つの命題は、選択効果、共有評価器のエラー、およびシステム状態の変化が製品評価をどのように確立できるかを説明している。 調査の結果は、クレームをインデクシングした報告標準をサポートし、各クレームをテストに必要な評価設計に接続する。

関連論文リスト

• Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
  我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
  論文  参考訳（メタデータ） (2026-10-13T17:22:58Z)
• Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models [64.08197975922234]
  多くの広く使用されているベンチマークは冗長であり、評価を必要以上に高価にする。ベンチマーク圧縮は、部分的な評価から完全なベンチマークスコアとランキングを推定することによって、このコストを下げる。 本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。 我々は,ベンチマークスイート内,ベンチマークスイート内,適応評価中の圧縮をカバーした分類法を開発し,冗長性と信頼性について検討する。
  論文  参考訳（メタデータ） (2026-10-13T12:15:07Z)
• When Is RTL Better? Auditing Evaluation Stability with Tool-Grounded Requirement Profiles [1.503974529275767]
  セキュリティルール、プロトコル義務、ターゲットコンテキスト、実行可能性ゲート、不確実性ポリシー、または前例制約が省略された場合に、候補がより良く現れる。 機械可読契約は,各要件の意味をその実行可能なエビデンスと比較ルールに結びつける。 候補ペアを凍結し,評価プロファイルのみを摂動させることで評価器の安定性を評価する。
  論文  参考訳（メタデータ） (2026-10-12T22:04:53Z)
• Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems [58.89141999692635]
  提案するSpeculative Recursive Self-Improvement(SpecRSI)は,前任者が十分に評価される前に,実行可能な後継エージェントをドラフトする。 VATSは、予測された継続の返却を使って、さらなる編集と優れたチェックの間に予算を割り当てる。 グループ検証最適化(GVO)は、実際の評価器を固定しながら、完了した探索から改善器を学習する。
  論文  参考訳（メタデータ） (2026-10-12T09:43:48Z)
• Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use [0.0]
  職場における有能な生成AIの使用を評価する研究者は、自己報告、客観的テスト、および監視と信頼の尺度を選択する必要がある。 筆者らは24の焦点実験論文の構造化, 種別レビューを行った。 エージェントスコープ,パーミッション,リカバリ,状態分離,独立レビュー,エビデンスに基づくクロージャの完全な組み合わせを検査する,個別レベルの検証機器は検出されなかった。
  論文  参考訳（メタデータ） (2026-09-14T14:16:18Z)
• Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
  既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。 このプロトコルは2つの基本的な懸念を提起する。 エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
  論文  参考訳（メタデータ） (2026-07-14T00:18:42Z)
• Auditing Empirical Comparisons in Quantum Software [2.384717245145118]
  実証的な量子ソフトウェア論文では、あるコンパイラ、バックエンド、あるいはアザッツが別のコンパイラよりも優れていると報告されることが多い。 既存のテスト、ベンチマーク、メソッドは、プログラム、ツール、実行、プラットフォームを評価するのに役立つ。 CLAIMSTAB-QCは、量子ソフトウェアにおける経験的比較を監査するための、ソースバウンドなフレームワークである。
  論文  参考訳（メタデータ） (2026-07-01T07:02:46Z)
• Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
  本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。 496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。 ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
  論文  参考訳（メタデータ） (2026-06-30T21:10:42Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。