論文の概要: Tacet: A Language and Type System for Automatic Statistical Validity Accounting
- arxiv url: http://arxiv.org/abs/2608.27451v1
- Date: Thu, 27 Aug 2026 17:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.523585
- Title: Tacet: A Language and Type System for Automatic Statistical Validity Accounting
- Title（参考訳）: Tacet: 自動統計的妥当性会計のための言語と型システム
- Abstract要約: 分析が生成したものを宣言する言語であるTacetを導入する。
その中心となる計算Tは、報告されたフットプリントと純度ビットを含む自由推定サブ言語である。
読み出し結果から選択されたサンプルは純度ビットを設定し、読み取ったものをすべて永久に検査したと記録され、片側または確認価格が与えられない。
富変換器は実現されたp-値のアンチトーンであるため、分析が実行される前に手頃な価格を確認することができ、事前登録を型付け規則に変換することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical comparisons between systems are a standard form of evidence in computer science research, but few are checked for statistical validity: most are never framed as statistical tests at all. Existing multiple-comparison procedures could control the resulting error, but need inputs (what an analysis examined, and how its observations are arranged) that are not recoverable from a list of p-values. We introduce Tacet, a language in which an analysis declares what it generated, states what it expects to find, and is refused any claim it cannot afford or cannot properly test. Its core calculus T pairs a free estimation sublanguage, carrying a reported footprint and a purity bit that records whether any outcome was consulted in building a value, with a priced claim sublanguage, carrying a wealth transformer, connected only by a mechanism that prices a comparison. A sample selected by reading outcomes sets the purity bit and is recorded as having examined everything it read, permanently, so it can never be granted a one-sided or confirmatory price, without the system ever asking whether the analyst intended to cherry-pick. Whether a comparison is paired or clustered is computed statically from the artifact schema, from declared functional dependencies between key fields alone and before any data is read, and a mechanism that assumes that structure away is refused rather than priced. Because the wealth transformer is antitone in the realized p-value, affordability can be checked before the analysis runs too, turning pre-registration into a typing rule. We prove the metatheory machine-checked in Lean 4 with no admitted gaps, and demonstrate the approach on a reference implementation and two case studies on published artifacts, the SWE-bench Verified leaderboard and BIG-Bench Hard.
- Abstract（参考訳）: システム間の実証的な比較は、コンピュータ科学研究における標準的な証拠の形式であるが、統計的妥当性を確認するものはほとんどない。
既存の多重比較手順は結果の誤差を制御できるが、p-値のリストから回復できない入力(分析がどのように分析し、どのように観察されるか)が必要である。
分析が生成したものを宣言する言語であるTacetを紹介します。
その中心となる計算Tは、レポートされたフットプリントと純度ビットを格納した自由推定サブ言語と、価格の高いクレームサブ言語と、比較価格のメカニズムによってのみ接続される富の変換器を備えた価格のクレームサブ言語とをペアリングする。
読取結果から選択されたサンプルは、純度ビットを設定し、読み取ったものを永久に検査したとして記録されるので、アナリストがチェリーピックを意図したかどうかを問うことなく、片面または確認価格を付与することができない。
比較がペアになるか、クラスタ化されるかは、アーティファクトスキーマから静的に計算されます。
富変換器は実現されたp値のアンチトーンであるため、分析が実行される前に手頃な価格を確認することができ、事前登録を型付け規則に変換することができる。
われわれはLean 4で確認されたメタセロリマシンチェックにギャップがないことを証明し、リファレンス実装へのアプローチと、公開されたアーティファクト(SWE-bench Verified Leaderboard)とBIG-Bench Hard(BIG-Bench Hard)の2つのケーススタディを示す。
関連論文リスト
- Selection-Aware Stress Testing for Interactive Agents [40.135301960368906]
SASSTは、発見タスクの事前実行機能からタスクの重み付けを学習し、別個の確認タスクで同じペア比較を評価する。
プロトコルはサポートと安定性をチェックし、計画されたすべてのクレームにジョイントバウンドを使用し、クレームを返さない。
論文 参考訳（メタデータ） (2026-08-31T14:58:04Z) - Twin Worlds: Equivariance-Based Abstention for Evidence-Grounded Reasoning [38.63002496590365]
本稿では,知識集約的推論における信頼性向上のための枠組みを提案する。
重要な要因は、文脈における実体の言及が記憶された関連を活性化し、モデルが証拠に埋もれていないプラウシブルな応答を生成することである。
我々は、パラメトリックな先行値を減らしながら関係構造を保ちつつ、元の入力の型付き置換によって複数の世界を構築する。
論文 参考訳（メタデータ） (2026-08-28T07:33:29Z) - SynthGuard-ReleaseBench: Locked-Audit Evidence for Synthetic Tabular Data Releases [0.0]
SynthGuard-ReleaseBenchは、評価の前に使用、候補パネル、許容度、監査スケジュールをロックする監査フレームワークである。
保護されたデータ上で、実際のトレーニングと合成トレーニングを比較し、損失ギャップの有限サンプル境界を同時に与え、コントロールを必要とし、実用性と経験的なプライバシーリスクメカニズムを分離する。
論文 参考訳（メタデータ） (2026-08-14T03:12:17Z) - When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits [6.908972852063454]
行動汚染検知器は、ベンチマークがクリーンであるか、監査がほとんどパワーを持っていないため、"証拠がない"ことができる。
我々はこの区別を、トレーニング中に未知のアイテムの分数アルファが見られたベンチマークとして定式化した。
R2 = 0.83-0.98 を6つの正確な置換チャネルで予測する。
事前宣言された2段階のプランナーは、配備された試験をシミュレートし、予算を修復し、一様に保守的であり、プローブが輸送されないときに停止する。
論文 参考訳（メタデータ） (2026-08-08T04:41:36Z) - When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。
評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。
保証リンクは保証チェーンを自動的に作らない。
論文 参考訳（メタデータ） (2026-07-28T18:07:04Z) - Certified Finite-Shot Operating Windows for Virtual Distillation and Symmetry Verification [0.0]
仮想蒸留 (VD) と対称性検証 (SV) で比較可能な有限ショット動窓理論を開発した。
VD の場合、この法則は商推定器の統計バイアスと分母不安定性を捉え、商が信頼できる範囲を超えてサンプルサイズを特定する濃度証明書を定めている。
SVでは、検出不能なエラーによって残されたバイアスフロアと、受信確率によって設定されたサンプリングペナルティを分離する。
論文 参考訳（メタデータ） (2026-06-13T20:42:40Z) - Trust, but Don't Verify: Epistemic Blind Spots in LLM Source Evaluation [0.0]
モデルが生成した統計量を検出する能力を持っているが、マルチソース合成においてこの能力を採用していないことを示す。
具体的には、ソースの影響は、解析テキストの分布レジスタに応答するが、数値の有効性には反応しない方法論登録ゲートによって制御される。
論文 参考訳（メタデータ） (2026-06-03T20:15:48Z) - Statistical Hypothesis Testing for Auditing Robustness in Language Models [49.1574468325115]
本稿では,摂動解析を頻繁な仮説テスト問題として再検討するフレームワークである分布に基づく摂動解析を紹介する。
モンテカルロサンプリングを用いて低次元意味的類似性空間内に経験的ヌルおよび代替出力分布を構築する。
反応変化の定量化、正/偽の正率の測定、参照モデルとの整合性の評価について述べる。
論文 参考訳（メタデータ） (2025-06-09T17:11:07Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-29T09:41:19Z) - SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for
Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。
本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文 参考訳（メタデータ） (2023-03-15T19:31:21Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。