論文の概要: Stand-In Effects and Pooling Amplification: Design-Based Tests of Whether Biological World Models Use Actions
- arxiv url: http://arxiv.org/abs/2611.01666v1
- Date: Sun, 01 Nov 2026 07:21:43 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:17:16.24201
- Title: Stand-In Effects and Pooling Amplification: Design-Based Tests of Whether Biological World Models Use Actions
- Title(参考訳): スタントイン効果とプール増幅--生物世界モデルが行動を使用するかどうかを設計ベースとして-
- Abstract要約: 自己相関設計の下では、将来的な行動は、そのモデルが見ることができない歴史に現れ、より良いモデルがスタンドインをよりよく学習することを示す。
多くのサイトがひとつのアクションシーケンスを共有している場合、自然なプールされたスコアは、アクションコントラストに沿って小さなモデルエラーを真の効果に対する圧倒的な証拠に変える。
我々のオプトジェネティックERK実験の事前登録分析は、まさにこの方法で失敗した。
- 参考スコア(独自算出の注目度): 17.521700896129115
- License:
- Abstract: Action-conditioned world models are increasingly trained on data from randomized experiments, and whether their predictions respond to actions is usually checked by replacing or removing the actions and measuring the loss in accuracy. We show that such diagnostics report action effects where there are none: under autocorrelated designs, future actions stand in for history the model does not see, and a better model learns the stand-in better. When the design law is known, a conditional randomization test written as an e-value is valid in finite samples whatever the model, provided the resampler conditions on the full state the design used; resampling from a simpler law reproduces the false effect. We identify a second failure, specific to world models: when many sites share one action sequence (cells in a microscope field, pixels in a frame), the natural pooled score turns small model errors along the action contrast into overwhelming evidence against a true effect. In a pixel world, its median log e-value fell from $-17.3$ to $-6832$ as frames grew from 64 to 4096 pixels, while the oracle's rose. Tempering the score by a design effect estimated on training data changes the bet, not the validity. Our own preregistered analysis of optogenetic ERK experiments failed in exactly this way; a tempered statistic, selected on synthetic data and registered before the data were obtained, then rejected the null on a never-opened field ($E\approx 1.1\times10^{10}$). Every analysis is preregistered, fixed in a dated protocol before it was run, or labelled exploratory, and every reported result is generated from hashed result files.
- Abstract(参考訳): アクション条件付き世界モデルは、ランダム化実験のデータに基づいて、ますます訓練され、その予測がアクションに反応するかどうかを通常、アクションを置き換えたり削除したりして、精度の損失を測定することでチェックされる。
自己相関設計の下では、将来の行動は、そのモデルが見ることのない歴史に現れ、より良いモデルがスタンドインをよりよく学習する。
設計法則が知られているとき、モデルが使用する全状態のリサンプラー条件を条件として、E値として書かれた条件ランダム化テストが有限サンプルで有効であり、単純法則からのリサンプリングは偽の効果を再現する。
多くのサイトが1つのアクションシーケンス(顕微鏡フィールドのセル、フレーム内のピクセル)を共有している場合、自然なプールされたスコアは、アクションコントラストに沿って小さなモデルエラーを、真の効果に対する圧倒的な証拠に変える。
ピクセルの世界では、中央値のログe-valueが-17.3$から-6832$に低下し、フレームが64から4096ピクセルに成長し、オラクルは上昇した。
トレーニングデータに基づいて推定される設計効果によるスコアのテンポは、妥当性ではなく、ベットを変化させる。
合成データに基づいて選択され、データを得る前に登録されたテンペリング統計学は、未開のフィールド(E\approx 1.1\times10^{10}$)でヌルを拒絶した。
すべての分析は事前に登録され、実行前に日付付きプロトコルで固定され、または探索というラベルが付けられ、報告されたすべての結果はハッシュ結果ファイルから生成される。
関連論文リスト
- Do-JEPA: From Masking to Intervention in Latent World Models [14.785740705591094]
我々は、C-JEPAのようなオブジェクトマスキングモデルが予測器に何が見えるかに介入していることを示し、物理的に何が起こるかに介入する。
結果は、モデルが見ているものではなく、世界への介入が、潜在する世界モデルがその行動の原因を予測するのに役立つことを示している。
論文 参考訳(メタデータ) (2026-09-29T12:31:28Z) - The Partial Testimony of Logs: Evaluation of Language Model Generation under Confounded Model Choice [22.228743542695835]
本研究では,大規模に構築された大規模観測ログと,未確立のスコアリングのための小さなランダム化実験と,オフラインシミュレータを組み合わせた3ソース設計について検討する。
本研究の主な成果は,ランダム化実験とシミュレータにより因果モデル値の復元が可能であることを示す同定定理である。
論文 参考訳(メタデータ) (2026-05-02T07:55:55Z) - AMUN: Adversarial Machine UNlearning [13.776549741449557]
Adversarial Machine UNlearning (AMUN)は、画像分類の最先端(SOTA)手法よりも優れている。
AMUNは、そのモデルに対応する敵の例を微調整することで、忘れサンプルのモデルの信頼性を低下させる。
論文 参考訳(メタデータ) (2025-03-02T14:36:31Z) - Prediction-Powered Causal Inferences [59.98498488132307]
予測型因果推論(PPCI)に焦点をあてる
まず, 条件付きキャリブレーションにより, 人口レベルでの有効なPPCIが保証されることを示す。
次に、実験間での十分な表現制約伝達の妥当性を導入する。
論文 参考訳(メタデータ) (2025-02-10T10:52:17Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳(メタデータ) (2022-10-24T13:04:07Z) - Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。
モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。