論文の概要: Predicting Task Difficulty Without Rollouts

• arxiv url: http://arxiv.org/abs/2608.05797v1
• Date: Thu, 06 Aug 2026 09:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.734248
• Title: Predicting Task Difficulty Without Rollouts
• Title（参考訳）: ロールアウトのないタスク障害の予測
• Abstract要約: 我々は,コーディング,数学,機械学習,Webナビゲーション,関数呼び出し,その他の領域にまたがる17のエージェントベンチマークを対象に,テキスト列の難易度予測について検討した。 我々は,AUCが難易度推定を隠蔽し,トークンレベルのエントロピーを有用な予測信号として同定し,予測された難易度と観測された難易度の間の残差が,汚染や不実現性などの隠れた環境欠陥を如何に隠蔽するかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task difficulty dictates an agent's likelihood of success, and estimating it without rollouts means forecasting this directly from a task description before executing costly simulations in stateful environments. Reliable estimates would therefore allow environment designers to calibrate evaluation benchmarks and construct progressive training curricula. This becomes increasingly important as agents move into long-horizon domains, where empirical trial-and-error is a severe computational bottleneck. Prior work on early prediction is limited to static tasks or isolated coding environments, often relying on narrow features and inaccurate evaluation metrics. We study \textit{ex ante} difficulty prediction across 17 agentic benchmarks spanning coding, mathematics, machine learning, web navigation, function calling, and other domains. We show that AUC can mask poor difficulty estimates, identify token-level entropy as a useful predictive signal, and show how residuals between expected and observed difficulty can expose hidden environment flaws such as contamination and infeasibility.
• Abstract（参考訳）: タスク困難はエージェントの成功確率を判断し、ロールアウトなしでそれを推定することは、ステートフルな環境でコストのかかるシミュレーションを実行する前に、タスク記述から直接これを予測することを意味する。 信頼性の高い見積は、環境設計者が評価ベンチマークを校正し、プログレッシブトレーニングカリキュラムを構築することを可能にする。 エージェントが、経験的試行錯誤が深刻な計算ボトルネックとなる、ロングホライズンドメインに移行するにつれ、これはますます重要になる。 早期予測の以前の作業は静的タスクや独立したコーディング環境に限られており、しばしば狭い機能と不正確な評価指標に依存している。 我々は,コーディング,数学,機械学習,Webナビゲーション,関数呼び出し,その他の領域にまたがる17のエージェントベンチマークを対象に,textit{ex ante}の難易度予測について検討した。 我々は,AUCが難易度推定を隠蔽し,トークンレベルのエントロピーを有用な予測信号として同定し,予測された難易度と観測された難易度の間の残差が,汚染や不実現性などの隠れた環境欠陥を如何に隠蔽するかを示す。

関連論文リスト

• What Makes Software Issue Resolution Tasks Difficult for Agents? [5.974359772961166]
  問題解決タスクのエージェント成功率に対応するソフトウェアタスクの構造特性について検討する。 コーディングエージェントトラジェクトリの最大オープンデータセットであるCoderForge-Previewについて,大規模な実証的研究を行った。
  論文  参考訳（メタデータ） (2026-08-18T19:59:16Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Modeling Sparse and Bursty Vulnerability Sightings: Forecasting Under Data Constraints [46.07145155913717]
  概念実証リリース、検出テンプレート、オンラインディスカッションなどの脆弱性発見は、時間とともに予測できる。 我々は、脆弱性ごとの目撃の短期予測のためのいくつかのアプローチを評価する。 ポアソン回帰のようなカウントベースの手法はより安定で解釈可能な予測を生成する。
  論文  参考訳（メタデータ） (2026-04-17T13:06:46Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• Model Predictive Task Sampling for Efficient and Robust Adaptation [57.414812940406996]
  本稿では,タスク空間と適応リスク分布をブリッジするフレームワークであるモデル予測タスクサンプリング(MPTS)を紹介する。 MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。 MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
  論文  参考訳（メタデータ） (2025-01-19T13:14:53Z)
• Self-Supervised Likelihood Estimation with Energy Guidance for Anomaly Segmentation in Urban Scenes [40.63116482332324]
  我々は、異常セグメンテーションのためのエネルギー誘導型自己教師型フレームワークを設計する。 我々は、セグメンテーションタスクの強い文脈依存の性質を利用する。 提案手法に基づいて,適応型自己教師型トレーニングフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-02-14T03:54:32Z)
• Uncertainty-Aware Lidar Place Recognition in Novel Environments [11.30020653282995]
  本研究では,不確実性を考慮したライダー位置認識の課題について検討する。 各予測された場所は、誤った予測を識別し拒否するために使用できる関連する不確実性を持つ必要がある。 我々は新しい評価プロトコルを導入し、このタスクのための最初の総合的なベンチマークを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:06:44Z)
• Shifts: A Dataset of Real Distributional Shift Across Multiple Large-Scale Tasks [44.61070965407907]
  現場の現状を考えると、分散シフトの影響を受け、様々なモードのタスクの標準化された大規模データセットが必要である。 本研究では,不確実性推定と分布シフトに対するロバスト性評価のためのemphShiftsデータセットを提案する。
  論文  参考訳（メタデータ） (2021-07-15T16:59:34Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Clinical Risk Prediction with Temporal Probabilistic Asymmetric Multi-Task Learning [80.66108902283388]
  マルチタスク学習手法は、臨床リスク予測などの安全クリティカルな応用に注意を払って使用すべきである。 既存の非対称なマルチタスク学習手法は、低損失のタスクから高損失のタスクへの知識伝達を行うことにより、この負の伝達問題に対処する。 特徴レベルの不確実性に基づいて,特定のタスク/タイムステップから関連する不確実なタスクへの知識伝達を行う,新しい時間的非対称型マルチタスク学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-23T06:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。