論文の概要: Can LLMs Catch a Rigged Backtest? A Clean-Control Calibration Benchmark
- arxiv url: http://arxiv.org/abs/2609.28090v1
- Date: Wed, 23 Sep 2026 13:25:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.04498
- Title: Can LLMs Catch a Rigged Backtest? A Clean-Control Calibration Benchmark
- Title（参考訳）: LLMは障害のあるバックテストにキャッチできるか? クリーンなコントロル校正ベンチマーク
- Abstract要約: 欠陥のあるすべてのバックテストが、戦略、日付、コードスタイル、ラベル、レポートの足場を固定したクリーンなコントロールを持つベンチマークを構築しています。
決定論的スコアラは、欠陥リコール、クリーンコントロール偽陽性、エビデンスローカライゼーション、修正関連性を分離する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Backtest auditing is a calibration problem: high flaw recall is not useful when the model falsely flags matched clean strategies. We build a 96-item paired benchmark in which every flawed backtest has a clean control that holds strategy, dates, code style, labels, and reporting scaffold fixed while changing one methodology detail. A deterministic scorer separates flaw recall, clean-control false positives, evidence localization, and fix relevance. Over 1440 cached audits from four text endpoints, the primary DeepSeek auditor reaches 100.0\% closed and clean-aware code recall, but open prompts over-flag 93.8\% of clean code controls, and clean-aware all-three specificity is 87.5\% even where recall saturates. A clean-aware warning drops DeepSeek code false positives from 20.8\% (95\% CI 11.7--34.3) to 0.0\% (0.0--7.4) at unchanged recall, while the budget anchor still flags 38/48 clean controls under the same prompt. Reporting recall alone would rank three of these four models identically; reporting the clean-control rate separates them by 79 points.
- Abstract（参考訳）: バックテスト監査はキャリブレーションの問題であり、モデルのフラグがクリーン戦略と誤って一致した場合、高い欠陥リコールは役に立たない。
すべての欠陥のあるバックテストは、戦略、日付、コードスタイル、ラベル、修正されたレポートの足場を保持するクリーンなコントロールを持ち、ひとつの方法論を詳細に変更します。
決定論的スコアラは、欠陥リコール、クリーンコントロール偽陽性、エビデンスローカライゼーション、修正関連性を分離する。
4つのテキストエンドポイントから1440以上のキャッシュされた監査結果、主要なDeepSeek監査者は100.0\%のクローズドかつクリーンなコードリコールを達成するが、オープンはクリーンなコードコントロールの93.8\%をオーバーフラグし、クリーンな3つの特異性はリコールが飽和した場合でも87.5\%である。
クリーンアウェアの警告はDeepSeekのコード偽陽性を20.8\% (95\% CI 11.7--34.3) から0.0\% (0.0--7.4) に落とし、予算アンカーは38/48のクリーンコントロールを同じプロンプトでフラグ付けする。
これら4つのモデルのうち3つはリコール単独でランク付けされ、クリーンコントロール率の報告では79ポイントが割り振られた。
関連論文リスト
- BeTaL-GBI: Admission-Aware Benchmark Tuning and Full-Stack Verification of Geometric Belief Interfaces [2.894286977279531]
本研究は,企業検証アーキテクチャが要求を監査しつつ,インターフェース障害,タスク能力,ポリシー適合性,整合性を分離できるかどうかを検討する。
BeTaL-GBI v0.2 は LLM-in-the-loop を2,218,750,380 以上のグリッドポイントで適用し、条件付き性能からフォーマットの入力を分離する。
512の総合的なタスクにおいて、16ゲートポリシーは、116の激しい矛盾を全て検出し、99のクリーンレコードを全て受け入れる。幻覚剤とエビデンスフォーガーサロゲートは無音のプロモーションでブロックされる。
論文 参考訳（メタデータ） (2026-08-21T16:52:38Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。
キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。
エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
論文 参考訳（メタデータ） (2026-07-30T22:32:14Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning [15.231928045776293]
sevraは、凍結したソルバの初期応答を保存するか、アクティブな検証を実行するかを決定するサーブレイヤーコントローラである。
数学では、選択的検証は76.3%の精度で行われ、検証は常に75.5%である。
CommonsenseQAでは、常時オンの検証が問題になり、Self-Consistency@5では、実現したトークンコストの約5倍の精度が向上する。
論文 参考訳（メタデータ） (2026-06-18T05:25:43Z) - Auditing CoT Answer-Hijack Patches: Source-Control Certificates with Type-I Guarantees [0.0]
Chain-of- Thought (CoT) の回答ハイジャックテンプレートは GSM8K または MATH-500 上で 7B-8B 言語モデルの最終数値を反転させることができる。
クリーンソースパッチの成功は、しばしば、パッチされたアクティベーションが回復したコンテンツを運ぶ証拠として読まれる。
我々は,各候補パッチを事前登録されたType-I保証付きソース制御証明書に変換する監査を構築する。
論文 参考訳（メタデータ） (2026-06-03T10:49:43Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。