論文の概要: When Should Forecasting Agents Reason? Behavioral Stress Tests for Reliability Routing

• arxiv url: http://arxiv.org/abs/2609.28475v1
• Date: Thu, 09 Jul 2026 02:41:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.025746
• Title: When Should Forecasting Agents Reason? Behavioral Stress Tests for Reliability Routing
• Title（参考訳）: エージェントの予測はいつ行うべきか? 信頼性確保のための行動ストレステスト
• Abstract要約: 信頼性 ビジネスステアリングは、過去のカバレッジ、マーケットプライアビリティー、ソースプライアシャープネス、エビデンス強度、エビデンス不一致、地平線といった信頼性機能を使って予測する。 ウォークフォワード自己適合ルールは、以前に解決されたヴィンテージのしきい値に適合し、我々の決定論システムの中で最良の平均ブライアスコアを得る。 したがって、主な貢献は、より推論が常に良いとは限らないことを示す行動ストレステストである。
• 参考スコア（独自算出の注目度）: 2.921159958223653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forecasting agents increasingly combine language-model reasoning, retrieval, ensembling, and calibration, but it remains unclear when each behavior should be trusted. We study this question on ForecastBench-style binary forecasting tasks, treating the choice to retrieve, reason, defer to a market prior, or use a historical analog as an observable agent behavior rather than a hidden implementation detail. Our central finding is that mechanism choice is source-dependent: structured analogs dominate for some data-generating processes, while market/crowd-style and conservative baselines are better for others. We introduce ReliabilityRoute, a structural intervention that steers forecasting-agent behavior using reliability features such as historical coverage, market-prior availability, source-prior sharpness, evidence strength, evidence disagreement, and horizon. A fixed 2024-fitted rule closely matches a hand taxonomy without hard-coded source-name decisions, while a walk-forward self-adjusting rule refits thresholds from previously resolved vintages and obtains the best mean Brier score among our deterministic systems across 16 later LLM vintages. The gain is modest and historical/search baselines remain highly competitive. The main contribution is therefore a behavioral stress test showing that more reasoning is not always better; forecasting agents should first estimate which evidence source deserves control, routing policies should themselves adapt under auditable constraints, and reproducibility artifacts are available at https://github.com/louiswang524/forcastagent
• Abstract（参考訳）: 予測エージェントは、言語モデル推論、検索、アンサンブル、キャリブレーションをますます組み合わせている。 本稿では,ForecastBenchスタイルのバイナリ予測タスク,検索,推論,市場への先延ばし,あるいは過去のアナログを実装の詳細を隠蔽するのではなく,観測可能なエージェントの振る舞いとして利用するなどについて検討する。 構造化されたアナログがデータ生成プロセスを支配しているのに対して、市場やクラスタスタイル、保守的なベースラインは、他よりも優れているのです。 本稿では,過去の報道,マーケットプライアビリティ,ソースプライアシャープネス,エビデンス強度,エビデンス不一致,地平線といった信頼性機能を用いて,予測エージェントの行動を予測する構造的介入について紹介する。 固定2024適合ルールは、ハードコードされたソース名決定なしに手動分類と密接に一致し、ウォーキングフォワードの自己調整ルールは、以前に解決されたビンテージのしきい値に適合し、その後16回のLSMビンテージにまたがる我々の決定論的システムの中で、最良の平均ブライアスコアを得る。 利益は控えめで、歴史的/調査のベースラインは競争力が高いままだ。 予測エージェントはまず、どの証拠が制御に値するかを推定し、ルーティングポリシーは監査可能な制約の下で適応し、再現性のあるアーティファクトはhttps://github.com/louiswang524/forcastagentで利用可能である。

関連論文リスト

• Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents [0.0]
  現在のエージェントシステムは、推論を開始する前にデリゲートを決定する。 我々は第3の体制について研究し、それは成功しそうもないと自覚するエージェントである。
  論文  参考訳（メタデータ） (2026-08-25T05:35:07Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• More Data, Worse Decisions? Preference Reversals in Neural Networks under Gram Incompatibility [9.196757973061198]
  ケースベース決定理論(CBDT)は、その構成公理を通じて要求を定式化する。 この特性が、通常最小二乗(OLS)出力ヘッドを持つ固定表現ニューラルネットワークに対していつ保持されるかを検討する。 意思決定からタスク定義ユーティリティ損失まで、厳密なペアの逆転をトレースする3段階の監査を開発する。
  論文  参考訳（メタデータ） (2026-07-28T18:52:47Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
  脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。 ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。 提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
  論文  参考訳（メタデータ） (2024-07-02T03:31:21Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。