論文の概要: From Apparent Search Gains to Selection Failures: Auditing Test-Time Inference in Structured Workflow Planning
- arxiv url: http://arxiv.org/abs/2611.00579v1
- Date: Sat, 31 Oct 2026 03:10:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.41605
- Title: From Apparent Search Gains to Selection Failures: Auditing Test-Time Inference in Structured Workflow Planning
- Title(参考訳): Apparent Search GainsからSelection Failures:Audiing Test-Time Inference in Structured Workflow Planning
- Abstract要約: テストタイム検索は構造化計画を改善することができるが、メソッドがプロンプト、後処理、選択が異なる場合、観察された利得が何に帰属すべきかは不明である。
本研究では,モデルが3つの観測可能なステージに推論を分解することで,型付きマルチツールを構成するディザスタットベンチについて検討する。
- 参考スコア(独自算出の注目度): 23.22991079536499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time search can improve structured planning, but when methods differ in prompts, post-processing, and selection, it is unclear what an observed gain should be attributed to. We study this question on DisasterBench, where models compose typed multi-tool workflows, by decomposing inference into three observable stages: whether a correct workflow is discovered, whether it survives structural validation, and whether it is finally selected. Comparing independent sampling, a nominal tree-search configuration, and multi-operator search under controlled inference budgets on two model families, we find that (i) the nominal tree-search configuration realizes non-adaptive complete-workflow sampling, and independent sampling with its expansion prompt reproduces its candidate discovery without constructing a tree; (ii) structural validation never removes the last correct workflow in our evaluated candidate pools, whereas majority voting leaves a discovered correct workflow unselected on 10-19% of tasks per pool, with an audit confirming substantive tool-choice or information-flow errors in 57 of 60 examined cases; and (iii) a tool-specification-aware verifier recovers some of these losses but overturns more correct decisions than it fixes. Our results motivate auditing realized rather than nominal inference pipelines, and reporting discovery, validity, and selection separately.
- Abstract(参考訳): テストタイム検索は構造化計画を改善することができるが、メソッドがプロンプト、後処理、選択が異なる場合、観察された利得が何に帰属すべきかは不明である。
本稿では,モデルが型付きマルチツールワークフローを構成するディザスタスベンチについて,正しいワークフローが見つかるか,構造検証が残っているか,最終的に選択されるかという,3つの観測可能なステージに推論を分解することによって検討する。
2つのモデルファミリーにおける独立サンプリング,名目木探索構成,および制御された推論予算に基づくマルチオペレータ検索と比較すると,そのことが分かる。
(i)名目木探索構成は、非適応的な完全ワークフローサンプリングを実現し、その拡張による独立サンプリングは、木を構築することなく、その候補発見を再現する。
(ii) 評価済み候補プールにおける最終的正しいワークフローの除去は行われないが、多数決では1プール当たり10-19%のタスクで未選択の正しいワークフローが検出され、調査対象60件中57件において実質的ツール選択や情報フローエラーが確認された。
三 ツール特定対応検証装置は、これらの損失の一部を回収するが、修正するよりも正しい決定を覆す。
本研究の結果は,名目推論パイプラインよりも実際に実現された監査を動機付け,発見,妥当性,選択を別々に報告した。
関連論文リスト
- Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models [0.7734726150561088]
自動プロンプトコンパイラは、最適化が下流のパフォーマンスを継続的に改善するという暗黙の仮定の下で、検索または書き直しを行う。
4つのファミリー(ゲノム検索、プロファイル誘導突然変異、EPA、ESPO)で構造化された検索は、強い推論者に対して統計的に有意な精度を得られない。
離散構造は、致命的な構造安定性をもたらし、破滅的な二モーダル種子崩壊を防ぐ。
論文 参考訳(メタデータ) (2026-10-31T17:24:48Z) - Mining the Design Space of Multi-Agent Workflows [13.290384767749751]
ルーティングと実行トレースから再現可能な設計原則をマイニングするための2フェーズパイプラインを提案する。
ワークフロー設計の3段階にわたるホールドアウト検索に持続する効果を同定する。
より広範に、我々のパイプラインと結果は、捨てられた探索軌道を統計的テストベッドに変える可能性を示している。
論文 参考訳(メタデータ) (2026-10-22T00:31:39Z) - EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。
EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文 参考訳(メタデータ) (2026-09-02T21:00:35Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳(メタデータ) (2026-08-20T15:24:54Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳(メタデータ) (2026-06-01T03:18:01Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳(メタデータ) (2026-05-25T06:26:43Z) - Detecting and Identifying Selection Structure in Sequential Data [53.24493902162797]
我々は,音楽のシーケンスなどの実践的な状況において,潜在目的に基づくデータポイントの選択的包摂が一般的である,と論じる。
選択構造はパラメトリックな仮定や介入実験なしで識別可能であることを示す。
また、他の種類の依存関係と同様に、選択構造を検知し、識別するための証明可能な正当性アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-29T20:56:34Z) - Outlier Detection Ensemble with Embedded Feature Selection [42.8338013000469]
組込み特徴選択(ODEFS)を用いた外乱検出アンサンブルフレームワークを提案する。
各ランダムなサブサンプリングベースの学習コンポーネントに対して、ODEFSは、特徴選択と外れ値検出をペアのランキング式に統一する。
我々は、特徴選択と例選択を同時に最適化するために閾値付き自己評価学習を採用する。
論文 参考訳(メタデータ) (2020-01-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。