論文の概要: The Testability Gap: A Pre-Registered Census of Naming versus Implementation in 59 Cognitive-Architecture LLM Systems
- arxiv url: http://arxiv.org/abs/2611.00651v1
- Date: Sat, 31 Oct 2026 05:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 17:28:41.40723
- Title: The Testability Gap: A Pre-Registered Census of Naming versus Implementation in 59 Cognitive-Architecture LLM Systems
- Title(参考訳): テスト容易性ギャップ:59の認知アーキテクチャLLMシステムにおけるナーミングと実装の事前登録
- Abstract要約: 本稿では,そのギャップがシステムクラス全体にどの程度広がるのかを問う。
GitHubで認知アーキテクチャを宣言する59のPythonリポジトリを調査した。
- 参考スコア(独自算出の注目度): 29.435508046795963
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A companion line of work audited individual cognitive-architecture LLM systems in depth and found that module names and module computations are empirically independent claims. This paper asks how far that gap extends across the system class. We pre-registered a census protocol (sample frame, metrics, and acceptance criteria frozen before any sample was downloaded) and surveyed the 59 most-starred Python repositories declaring cognitive architecture on GitHub, plus five classic architectures as a historical control. We measure a testability gap. First, an auditability gap: 22% of repositories document no code reference whatsoever. Second, an integrity gap: 42% of repositories have at least one dangling reference, and within that subgroup the median fraction is 8%, the top quartile 19.6%, and the maximum 79.5%; one 148-star system documents paths of which a majority do not exist. Three of four pre-registered hypotheses were falsified: the integrity gap is not universal (58% of repositories either offer no checkable references or offer references that all resolve); claim density does not predict dangling rate (rho = -0.10); and the classical-architecture control does not significantly outperform (p = 0.059 with five controls, all at zero dangling). Exactly one repository in 59 (1.7%) ships executable falsification criteria for its own claims. A second pre-registered round classified every dangling path by git lifetime: 85.5% of dangling references (159 of 186) are ghosts - paths that never existed at any commit - against 14.5% that were once real and later removed.
- Abstract(参考訳): 共同作業の行は、個々の認知アーキテクチャLLMシステムを深く監査し、モジュール名とモジュール計算が経験的に独立したクレームであることを発見した。
本稿では,そのギャップがシステムクラス全体にどの程度広がるのかを問う。
私たちは、国勢調査プロトコル(サンプルフレーム、メトリクス、そしてサンプルがダウンロードされる前に凍結された受け入れ基準)を事前登録し、GitHubで認知アーキテクチャを宣言する59の最も星の多いPythonリポジトリと、歴史的なコントロールとして5つの古典的なアーキテクチャを調査しました。
テスト容易性のギャップを測定します。
まず、監査可能性のギャップ:22%のリポジトリはコード参照を一切文書化していない。
第2に、レポジトリの42%は少なくとも1つの参照を持ち、そのサブグループの中では中央値の比率は8%、最高値の19.6%、最大値の79.5%である。
整合性ギャップは普遍的ではない(レポジトリの58%はチェック可能な参照を提供しないか、すべての解決する参照を提供する)、クレーム密度はダングリング率を予測しない(rho = -0.10)、古典的構造制御は顕著に優れていない(p = 0.059、全てゼロダングリング)。
59の1つのレポジトリ(1.7%)は、独自のクレームに対して実行可能なファルシフィケーション基準を出荷している。
85.5%のダングリング参照(186件中159件)は、かつて本物で後に削除された14.5%に対して、いかなるコミットでも存在しなかったゴースト(ゴースト)である。
関連論文リスト
- From Reasoning Failures to Composable Video Spatial Intelligence [53.31188726177487]
我々は,映像空間推論を支援するために,利用可能な証拠の上に機能する,型付き幾何演算子と空間スキルのトレーニングフリーライブラリを開発した。
これらの利点は、空間的慣行の明示的なハンドリングが、追加のトレーニングなしで体系的な推論失敗を修復できることを証明している。
論文 参考訳(メタデータ) (2026-10-01T16:31:19Z) - Impact Is Not Invalidation: Ask About the Claim, Not the Diff [0.47745223151611654]
コーディングエージェントのためのメモリシステムは、リポジトリが変更されたとき、その格納されたクレームのどれが偽になったかを判断しなければならない。
モデル能力とは無関係な理由から、2番目の信号が失敗することを示す。
我々は、23のPythonライブラリから184個の実行検証されたフリップを持つ10,369のクレームを報告します。
論文 参考訳(メタデータ) (2026-09-20T19:33:47Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳(メタデータ) (2026-08-21T16:45:00Z) - Loreley: Repository-Scale Program Evolution with Quality-Diversity Search [0.9280446111254227]
シーケンシャルエージェントサーチは、現在のチャンピオンから変更を蓄積するが、代替ブランチを破棄する。
独立した提案は幅を保ちながら根から再開する。
一致したZ標準実験において,ロリーQD,シーケンシャルチャンピオン編集,独立ルート提案を比較した。
論文 参考訳(メタデータ) (2026-08-20T07:04:24Z) - Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation [0.0]
EU AI Actは、ハイリスクシステムのプロバイダに対して、システムが意思決定にどのように到達したかを説明した技術的なドキュメントを提出することを要求する。
機械的解釈可能性(Mechanistic interpretability)はそのような証拠の明らかな源であり、回路発見は最も発達した道具である。
2人の有能なアナリスト、同じシステム、同じツール、異なる保護可能な設定。
論文 参考訳(メタデータ) (2026-08-13T20:27:56Z) - Was It Never Collected, or Rewritten Away? A Commit-Provenance Dataset Separating Ingestion Gaps from Upstream History Edits across the World of Code [2.788646205877688]
私たちは、欠落したコミットを大規模に分離するコミット改善データセットをリリースします。
1,118,116,350件以上のコミットがあり、53.35%がWoC(World of Code)に登録されている。
15分の1の欠落したコミットケースは、ミラーギャップではなく、プロジェクトを削除した書き直しである。
論文 参考訳(メタデータ) (2026-07-02T21:12:43Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳(メタデータ) (2026-05-08T09:30:31Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。
18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。
その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
論文 参考訳(メタデータ) (2026-01-20T13:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。