論文の概要: Robustness Evaluation of GPU Cloud Pricing Benchmarks under Incomplete Observations: A Controlled Missingness Study
- arxiv url: http://arxiv.org/abs/2611.17796v1
- Date: Fri, 13 Nov 2026 06:18:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.316062
- Title: Robustness Evaluation of GPU Cloud Pricing Benchmarks under Incomplete Observations: A Controlled Missingness Study
- Title(参考訳): 不完全な観測下でのGPUクラウド価格ベンチマークのロバストネス評価:制御された不足度調査
- Abstract要約: 本稿では,4つのマスク機構と4つのベンチマークレベルのリカバリ手法の下で,等重量中央値の定式化について検討する。
190日間に27のシナリオで5,800以上のモンテカルロが実現され、全ソースの停止により、公開日における条件誤差をゼロに保ちながら、公開範囲は0.77に減少する。
結果は、取引価格や現実世界の欠落メカニズムの特定ではなく、問い合わせ価格の測定を観察した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Daily GPU rental-price benchmarks can fail when marketplace quotes are missing. This article stress-tests a fixed equal-weight median rule under four imposed masking mechanisms and four benchmark-level recovery methods. Across 5,800 Monte Carlo realisations in 27 scenarios on 190 held-out days, whole-source outages reduce publication coverage to 0.77 while preserving zero conditional error on published dates; composition-changing loss retains 0.86 coverage but produces 7.74 log points of error. A separate past-only stratum-level ablation reduces error by 4.15 to 6.70 log points in five composition-changing cases, using a richer information set. An observable-signal withholding rule improves the primary error-coverage criterion in 0 of 10 cases. Results concern observed asking-price measurements, not transaction prices or identified real-world missingness mechanisms.
- Abstract(参考訳): マーケットプレース見積もりが欠落している場合には、毎日のGPUレンタル価格ベンチマークが失敗する可能性がある。
本稿では,4つのマスク機構と4つのベンチマークレベルのリカバリ手法の下で,等重量中央値の定式化について検討する。
190日間に27のシナリオで5,800以上のモンテカルロが実現され、全ソースの停止により公開日に関する条件誤差は0.77に減少し、コンポジション変更による損失は0.86に留まるが、7.74のログポイントのエラーが発生する。
異なる過去のみの層レベルのアブレーションは、よりリッチな情報セットを使用して、5つの構成変更ケースでエラーを4.15から6.70ログポイント削減する。
可観測符号保持規則は10例中0例で一次誤差被覆基準を改善する。
結果は、取引価格や現実世界の欠落メカニズムの特定ではなく、問い合わせ価格の測定を観察した。
関連論文リスト
- AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。
AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。
RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
論文 参考訳(メタデータ) (2026-10-01T07:24:04Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000~20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳(メタデータ) (2026-09-27T14:14:10Z) - What Eviction Destroys: A Restore-Counterfactual Audit of Forgetting in Agent Memory [1.6558929815405155]
我々は,質問ごとのペアによる介入であるリストア対策を導入し,質問のゴールドエビデンスをリードタイムの文脈で再記録する。
我々は,LongMemEval-SにおけるFIFO,ランダム,冗長,LLMの重要性を3つの予算と2つの検索条件で評価した。
論文 参考訳(メタデータ) (2026-09-08T05:48:10Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳(メタデータ) (2026-07-27T16:05:23Z) - Predictive Extrema, Unprofitable Policies: An AI-Assisted Audit of Candle-Based Binance Spot Timing Models [0.0]
我々は、ロウソクベースの機械学習モデルが、暗号通貨の極端または短水平結果の予測を、想定コストの後に正のSpot紙のポリシーに変換することができるかどうかを監査する。
数値的な結果は、スクリプト化された固定シードモデル実行と決定論的シミュレータから得られる。
人間の監督されたAIエージェントは、文献検索を通じて7月20日のエビデンス・インテリジェンス・インテリジェンス・リビジョンを支持した。
論文 参考訳(メタデータ) (2026-07-21T14:04:15Z) - FinVerBench: Benchmark Validity and Calibration in Large Language Model Financial Statement Verification [0.0]
FinVerBenchは、ファイナンシャルステートメント検証のためのベンチマークおよび妥当性調査である。
SEC 10-K の S&P 500 社への提出書類から作成されている。
論文 参考訳(メタデータ) (2026-05-28T08:30:15Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳(メタデータ) (2026-05-07T06:31:34Z) - SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits [31.98028879922584]
SummExecEditという新しいパイプラインとベンチマークを導入し、実際のエラーを検知し、正確な説明を提供する能力についてモデルを評価する。
トップパフォーマンスモデルであるClaude3-Opusは、ベンチマークでわずか0.49のジョイント検出と説明スコアを達成している。
説明ミスの4つの主要なタイプを特定し、その45.4%は、要約の完全に無関係な部分に焦点を当てている。
論文 参考訳(メタデータ) (2024-12-17T23:26:44Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。