論文の概要: HindsightBench: A Black-Box Behavioral Audit Protocol for Parametric Hindsight in Time-Indexed LLM Decision Tasks

• arxiv url: http://arxiv.org/abs/2607.18867v1
• Date: Tue, 21 Jul 2026 08:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.377266
• Title: HindsightBench: A Black-Box Behavioral Audit Protocol for Parametric Hindsight in Time-Indexed LLM Decision Tasks
• Title（参考訳）: HindsightBench: 時間インデックスLDM決定タスクにおけるパラメトリックハイドサイトのためのブラックボックス行動監査プロトコル
• Abstract要約: プローブレベルのコストでパラメトリック・ハイドサイトをプロファイリングする行動監査プロトコルであるHindsightBenchを提案する。 258ノードのヴィンテージ正しいマクロパネル上の7つのベンダーから15のモデルに適用すると、3つの見出しパターンが得られる。 パネル、凍結事前登録、ドルコスト、書き起こし、および1つのコマンドによる再生を伴うモデルごとの監査列を公開します。
• 参考スコア（独自算出の注目度）: 1.416562653124415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models leak parametric knowledge of realized outcomes into historical financial decision tasks. Existence is settled; what users lack is a cheap way to audit a given model for it. We present HindsightBench, a black-box behavioral audit protocol that profiles parametric hindsight in any time-indexed LLM decision task at probe-level cost (no backtests, no logprobs, no corpus access). The protocol chains a four-arm date-manipulation matrix (revealed/date-only/masked/transplanted), dual memory probes (date recovery; outcome recall), and six per-model metrics -- trigger strength, transplant effect, post-cutoff placebo, recoverability, behaviorally effective knowledge cutoff, and a recall-accuracy dissociation coefficient -- with explicit gates where identifiability is data-dependent. Applying it to 15 models from seven vendors on a 258-node vintage-correct macro panel yields three headline patterns: (i) the date-trigger reflex tracks training generation, not scale -- absent across the 2024 open-weight generation from 1B to 70B, present in every tested 2026-generation model, and switching on within one vendor lineage (Qwen3 -> Qwen3.6) at fixed MoE architecture and 3B active parameters; (ii) effective cutoffs span 22 months across vendors and precede vendor-reported dates by up to eight months, invalidating calendar-window placebo designs; (iii) audit results are not invariant to serving -- BF16 serving of an FP8-referenced model breaks the trigger estimate's stability while AWQ-INT4 preserves it, and a provider-locked reasoning regime makes one probe non-convergent -- so the protocol ships with operational requirements (pin quantization and thinking regime; disclose parser and sampling policy). We release the panel, frozen preregistrations, per-model audit rows with measured dollar costs, transcripts, and one-command regeneration.
• Abstract（参考訳）: 大規模言語モデルは、実現された結果のパラメトリック知識を歴史的金融決定タスクにリークする。 ユーザが欠いているものは、そのモデルを評価するための安価な方法です。 我々は、プローブレベルのコスト(バックテストなし、ログプロブなし、コーパスアクセスなし)で、タイムインデックス付きLCM決定タスクにおけるパラメトリック・ヒンドシットをプロファイルする、ブラックボックスの行動監査プロトコルであるHindsightBenchを提案する。 このプロトコルは、4つのアームの日付操作行列(revealed/date-only/masked/transplanted)、二重メモリプローブ(date recovery, outcome recall)、および6つのモデル毎のメトリクス -- トリガー強度、移植効果、ポストカット後プラセボ、リカバリビリティ、行動に有効な知識遮断、リコール精度の解離係数 -- をデータ依存の明示的なゲートにチェーンする。 258ノードのヴィンテージ補正マクロパネルで7つのベンダーから15のモデルに適用すると、3つの見出しパターンが得られる。 i) 日付トリガー反射は、スケールではなく、トレーニング生成を追跡する -- 2024 のオープンウェイト世代を 1B から 70B まで、テスト対象の 2026 世代モデルすべてに存在し、固定された MoE アーキテクチャと 3B のアクティブパラメータにおいて、1 つのベンダー系統 (Qwen3 -> Qwen3.6) に切り替える。 (二 ベンダー間で二十二月を要し、ベンダーが申告した日付を八月まで前倒しし、暦風の偽造を無効とする。) 三 監査結果は役に立たない -- FP8参照モデルのBF16はトリガー推定の安定性を損なう一方、AWQ-INT4はそれを保ち、プロバイダロックされた推論規則は1つのプローブを非収束させる -- そのため、プロトコルには運用要件(ピン量子化と思考規則、パーサーとサンプリングポリシーを開示する)を出荷する。 パネル、凍結した事前登録、ドルコスト、書き起こし、および1つのコマンドによる再生を伴うモデルごとの監査列を公開します。

関連論文リスト

• State of Thought Enables Endogenous Reasoning [48.902117018115256]
  大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
  論文  参考訳（メタデータ） (2026-09-13T05:55:03Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• BiasMix-Finance: Post-Generation KYC Guardrails for LLM Portfolio Advice [4.108510562556002]
  大規模言語モデル(LLM)は、リスク、手数料、多様化に関する基本的な制約を静かに違反しながら、もっともらしいETFポートフォリオを生成することができる。 モデル非依存・資産非依存・ポストジェネレーションガードレールパイプラインについて検討する。 バイアス世代に基づく制約付き意思決定のためのコンパクトなストレステストベンチマークであるBiasMix-Finance(Mini)を紹介する。
  論文  参考訳（メタデータ） (2026-08-14T05:32:14Z)
• Right Knowledge, Wrong Answer: Test-Time Steering for Temporal Fact Conflicts in Open-Weight Language Models [2.11832654407998]
  大規模な言語モデルは、時代遅れの事実と、より新しい上位の事実の両方をパラメータに格納することができるが、標準のプロンプトは依然として時代遅れの回答を引き出す可能性がある。 私たちはこの問題をPTC(Parametric Temporal Conflict)として定式化し、TAS(Tarator Steering)を導入します。 TASは、潜在的な競合を検出し、競合クリティカルな層を特定し、再トレーニングや外部検索なしに、隠れた状態を新しいファクト表現に向けて操る。
  論文  参考訳（メタデータ） (2026-06-18T21:56:18Z)
• ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
  本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。 有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-18T20:06:04Z)
• Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers [0.0]
  大規模言語モデル(LLM)は一般的に、各インスタンスを個別に解決する推論時プロシージャとして最適化にアプローチする。 本稿では,制約付きクナプサックの制御変種であるSDS(Synergistic Dependency Selection)について考察する。 Qwen2.5-Coder-14B-Instruct with Group Relative Policy Optimization using a feasibility-gated reward and light Structure scaffolding。
  論文  参考訳（メタデータ） (2026-05-18T13:21:40Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
  テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。 TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
  論文  参考訳（メタデータ） (2026-04-21T10:01:04Z)
• SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio [0.038379177968040606]
  言語モデル推論のための単一パス不確実性フレームワークであるSELFDOUBTを提案する。 私たちのキーシグナルであるHedge-to-Verify Ratio(HVR)は、推論トレースが不確実性マーカーを含むかどうかを検出し、もしそうであれば、明示的な自己チェック行動によってオフセットされているかどうかを検出する。 SELFDOUBTは単一の観測された推論軌道で動作し、任意のプロプライエタリなAPI上でのレイテンシとコスト制約によるデプロイメントに適している。
  論文  参考訳（メタデータ） (2026-04-07T19:19:29Z)
• Self-Calibrating Language Models via Test-Time Discriminative Distillation [18.46710400838861]
  大規模言語モデル(LLM)は、しばしば間違って答える質問に対して体系的に過度に信頼されている。 我々は、テスト時間トレーニング(TTT)パイプラインである$textbfSECL$ ($textbfSE$lf-$textbfC$alibrating $textbfL$anguage Modelsを紹介します。
  論文  参考訳（メタデータ） (2026-03-18T13:28:50Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。