論文の概要: Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
- arxiv url: http://arxiv.org/abs/2610.22445v1
- Date: Thu, 15 Oct 2026 15:13:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.597698
- Title: Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
- Title（参考訳）: 核制御は必要だが十分ではない:科学的発見と解釈可能性のための受容ガードの評価
- Abstract要約: 自動発見システムは、受け入れるべき科学的説明とテストを提案する。
物理的記述を変更するための4つの実行可能な操作を開発する。
無効受容(NAR)、肯定受容(PAR)、結果合意(CAR)を通じて、これらの操作と3つの解釈可能性設定を評価する。
信頼性の高い自動発見には、テストが受け入れるものと、それが確立した科学的結果の両方を評価する必要がある。
- 参考スコア（独自算出の注目度）: 2.305540324944387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated discovery systems propose scientific explanations and test which to accept. Does passing a test establish the intended claim? We develop four executable operations for changing physical descriptions: identifying redundancies (L1), coarse-graining dynamics (L2), transferring structure (L3), and inferring missing quantities from conservation imbalances (L4). We evaluate these operations and three interpretability settings through null acceptance (NAR), positive acceptance (PAR), and consequence agreement (CAR). A reduction mapping every state to zero predicts its own future perfectly. It passes closure on 96% of 129 public chaotic systems despite retaining no dynamical variation. An independent observable-preservation test rejects it throughout. On controlled benchmarks, the combined criteria accept 24/24 genuine reductions and reject 72/72 nulls. The other operations distinguish symmetries from redundancies, validate transfers, and reject spurious conservation imbalances. In language and ESM-2 protein models, linear CKA remains unchanged when a proposed correspondence is randomly rotated, whereas localized interventions distinguish genuine mappings from tested nulls. In sparse autoencoders, enrichment rejects all 16 tested nulls, yet independent ablation supports 45% of evaluable enriched features, compared with 0.5% of matched controls. These results reveal two acceptance gaps: descriptive tests can accept scientifically empty candidates, and accepted candidates can lack independently verified consequences. Reliable automated discovery requires evaluating both what a test accepts and the scientific consequences it establishes. Code and data: https://real-project-aether.github.io/project-aether/.
- Abstract（参考訳）: 自動発見システムは、受け入れるべき科学的説明とテストを提案する。
テストをパスすることは意図したクレームを確立するか?
本研究は, 冗長性(L1), 粗粒度(L2), 移動構造(L3), 保存不均衡から欠落量(L4)を推定する4つの実行可能な操作を開発する。
これらの操作と3つの解釈可能性設定を、NAR(null accept)、PAR( positive accept)、およびCAR( result agreement)を通じて評価する。
すべての状態からゼロへの還元写像は、自身の未来を完璧に予測する。
129の公的なカオスシステムの96%を閉鎖するが、動的変動は保持しない。
独立した可観測保存テストは、それを全体にわたって拒否する。
制御されたベンチマークでは、組み合わせられた基準は24/24の真の減少を受け入れ、72/72のヌルを拒否する。
他の操作では、対称性と冗長性を区別し、転送を検証するとともに、急激な保存不均衡を拒否する。
言語モデルとESM-2タンパク質モデルでは、提案された対応がランダムに回転した場合、線形CKAは変わらないが、局所的な介入はテストされたヌルから真のマッピングを区別する。
スパースオートエンコーダでは、エンリッチメントは16の試験されたヌルをすべて拒否するが、独立したアブレーションは45%の評価可能なエンリッチ化機能をサポートしている。
記述的テストは科学的に空の候補を受け入れることができ、受理された候補は独立して検証された結果に欠ける。
信頼性の高い自動発見には、テストが受け入れるものと、それが確立した科学的結果の両方を評価する必要がある。
コードとデータ:https://real-project-aether.github.io/project-aether/
関連論文リスト
- A Controlled Audit of Architectural Complexity in Uncertainty-Aware Multi-Organ Ultrasound Classification [19.598719060464866]
多臓器超音波分類器は、注意力、熟練者の混在、不確実性ゲーティング、そして明らかな深層学習(EDL)の目的を組み合わさりつつある。
本稿では,最大公示候補であるFull-EDLと簡易な代替品との展開決定に応用した,制御された複雑性監査フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-28T08:30:43Z) - When Does Permutation Instability Generalize? Independent-View Validation for Listwise LLM Reranking [0.0]
リストワイズ言語モデルリランカは、等価な候補置換に異を唱える。
有限不安定診断は、追加のサンプリング、アグリゲーション、選択的な計算の動機付けに使用される。
有限ビュー不安定度スコアが未確認順列を予測するという主張にどのように影響するかを考察する。
論文 参考訳（メタデータ） (2026-08-13T03:40:32Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Validating Causal Abstraction Metrics on Simulated Complex Systems [24.593253817483458]
離散状態空間と連続状態空間の両方にまたがる10の複雑なシステムのベンチマークを導入する。
観察,機能,情報理論,因果関係から抽出された30以上の指標について検討した。
本研究は, 因果的抽象誤差(Causal Abstraction Error, CAE)を, 明示的忠実度テストによる連続的妥当性尺度として導入した。
論文 参考訳（メタデータ） (2026-06-30T23:30:29Z) - When Should an AI Scientist Stop? Verifiable Experiment Steering and Refusal for Autonomous Discovery [0.0]
CARTOGRAPHは、AI科学者のための検証レイヤーである。
未解決宇宙実験ステアリング(選択)、明示的曖昧性閉鎖(解決)、残差に基づくライブラリ不整合検出(再利用)の2つを結合する。
論文 参考訳（メタデータ） (2026-05-26T18:19:16Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data [0.0]
PAIR-CIは非パラメトリック条件独立(CI)テストであり,複数の命令を直接推論手順に統合することによりキャリブレーションを回復する。
確率的に一貫した分散推定器は、クロスバリデーションと多重計算による不確かさを共同で説明する。
論文 参考訳（メタデータ） (2026-05-06T12:34:37Z) - Prompt Injection Evaluations: Refusal Boundary Instability and Artifact-Dependent Compliance in GPT-4-Series Models [0.0]
GPT-4.1 と GPT-4o の2つのモデルを評価する。
アーティファクトタイプは摂動スタイルよりも断裂の予測が強いことが分かりました。
断熱挙動は安定な二元性というよりは確率的であり, 人工物に依存した境界現象である。
論文 参考訳（メタデータ） (2026-01-25T17:14:33Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - Discovering Causal Relationships using Proxy Variables under Unmeasured Confounding [42.70985072862832]
観測研究における変数ペア間の因果関係の推測は極めて重要であるが,困難である。
我々は,不測の共同設立者の下で因果仮説をテストするために,離散的かつ連続的な設定を両立する一般的な非パラメトリックアプローチを開発する。
Intensive Care Data and World Values Surveyの広範囲なシミュレーションと実世界データによるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2025-10-20T05:13:12Z) - A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。
最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。
そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
論文 参考訳（メタデータ） (2025-06-10T12:41:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。