論文の概要: What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus
- arxiv url: http://arxiv.org/abs/2609.26826v1
- Date: Sun, 20 Sep 2026 15:50:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.686984
- Title: What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus
- Title（参考訳）: 終端ベンチタスクの硬さとは何か? 副詞コーパス上でのフェイクハードから遺伝子硬さを分離する
- Abstract要約: 凍結したターミナルベンチ3/フロンティアベンチ0.1の生産記録に1,081のプルリクエスト、639のタスク、28,801のトライアル、およびログエージェントの105,933の費用を投入した。
125のタスクに対して,タスクアーティファクト,参照ソリューション実行,空ソリューション制御,敵トライアル,トラジェクトリ,テレメトリ,レビューレコードを組み合わせ,順序付き妥当性画面を適用する。
認定されていないラベルも狭く、認可されたルートが通過し、インフラが支配せず、厳格なバイパスが観察されず、評価されたエージェントがすべて失敗したことを意味する。
- 参考スコア（独自算出の注目度）: 1.5328499301244711
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier benchmarks need tasks that current models cannot solve. But a task that no model solves is not automatically a hard task. The same zero pass rate can come from a real capability gap, but it can also come from missing context, a broken reference solution, infrastructure failure, or a verifier that can be bypassed. In this paper, we study this issue using a frozen Terminal-Bench 3 / Frontier-Bench 0.1 production record with 1,081 pull requests, 639 scored tasks, 28,801 trials, and $105,933 in logged agent spend. We ask what an all-fail task actually certifies. For the 125 tasks with no honest pass, we combine task artifacts, reference-solution runs, empty-solution controls, adversarial trials, trajectories, telemetry, and review records, and apply an ordered validity screen. Only 78 of the 125 tasks survive as certified-unsolved candidates. The remaining tasks include 14 with broken oracles, 8 dominated by infrastructure failures, 4 that are only passable through verifier bypasses, and 21 whose solvability is not certified by the available evidence. Thus, lack of saturation and genuine difficulty are not the same thing. The certified-unsolved label is also narrow: it means that the authored route passed, infrastructure did not dominate, no strict bypass was observed, and all evaluated agents failed. It does not prove intrinsic hardness, verifier completeness, or failure at the intended capability. We further analyze rejected submissions and passing tasks to show that pass rate alone cannot explain why a task is difficult. Overall, our results suggest that frontier benchmarks should report the evidence behind their all-fail tasks before using them as capability claims.
- Abstract（参考訳）: 最前線ベンチマークは、現在のモデルでは解決できないタスクを必要とする。
しかし、モデルが解決しないタスクは、自動的に難しいタスクではありません。
同じゼロパスレートは、実際の能力ギャップから得ることができるが、欠落したコンテキスト、壊れた参照ソリューション、インフラストラクチャの障害、あるいはバイパス可能な検証器からも得られる。
本稿では,1081件のプルリクエスト,639件のタスク,28,801件のトライアル,および105,933件のログエージェントを凍結したターミナルベンチ3/フロンティアベンチ0.1生産記録を用いて,この問題について検討する。
フルフェイルタスクが実際に何を証明するのかを尋ねる。
125のタスクに対して,タスクアーティファクト,参照ソリューション実行,空ソリューション制御,敵トライアル,トラジェクトリ,テレメトリ,レビューレコードを組み合わせ,順序付き妥当性画面を適用する。
125件のうち78件のみが未解決候補として存続している。
残りのタスクには、壊れたオラクルを持つ14、インフラの故障に支配される8、バリデーションバイパスでのみ通過可能な4、利用可能な証拠によって可溶性が証明されていない21が含まれる。
したがって、飽和と真の難しさの欠如は同じものではない。
認定されていないラベルも狭く、認可されたルートが通過し、インフラが支配せず、厳格なバイパスが観察されず、評価されたエージェントがすべて失敗したことを意味する。
これは本質的な硬さ、検証完全性、意図した能力の失敗を証明するものではない。
さらに、拒否された提出書を分析し、通過率だけでタスクが難しい理由を説明できないことを示す。
全体的な結果から,フロンティアベンチマークでは,機能要求として使用する前に,すべての障害タスクの背後にある証拠を報告すべきであることが示唆された。
関連論文リスト
- ImpossibleRubrics: Stress-Testing Generated Rubrics as Reward Signals [11.176653941165597]
InmpossibleRubricsは、6つの不可能なカテゴリにまたがる169の不可能なタスクのベンチマークである。
11個の発電機が、偏りのない150-of-169の環境カットで8--26%の時間を利用している。
11基の発電機のうち7基はそれよりも頻繁に利用され、それぞれの発電機に調整された潤滑剤が書き込まれている。
論文 参考訳（メタデータ） (2026-09-15T08:21:40Z) - Schwarz: Solver-Aware Agentic Program Verification [1.9215527229034466]
Schwarzはエージェントによる検証ハーネスで、SMTが支援する証明の失敗を局所的に、チェック可能で、修復可能である。
我々は、CとRust/Verus用のSchwarzを実装し、1,475のタスクで評価する。
論文 参考訳（メタデータ） (2026-08-31T13:54:48Z) - Ignorance or Incompetence? Constructing Knowledge-Gated, Verifiable Tasks for LLM Agents [16.70932968825709]
本稿では,タスク命令をコンパクトなアーティファクトから分離するナレッジ付きタスク構築プロトコルを提案する。
1つのフロンティアエージェント構成は、アーティファクトで68.0%のパスレート、それなしで0%のパスレートを達成する。
保持されたタスクがポストトレーニングを改善するという確証はない。
論文 参考訳（メタデータ） (2026-08-31T06:39:27Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。
バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。
本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
論文 参考訳（メタデータ） (2026-07-22T07:30:07Z) - How Agent Skills Fail under Long Contexts: A White-Box Study in Code Auditing [1.5217170480235822]
Agent Skillsパッケージ 手続き的な指示と汎用エージェントの使用のためのチェック。
そこで本研究では,本問題を製品由来のホワイトボックスコード監査ワークフローを用いて検討する。
要求の欠如、ドリフトの編集、チェックの失敗、非エージェント評価/実行時の障害などです。
論文 参考訳（メタデータ） (2026-07-20T13:34:53Z) - Auditing Reward Hackability in Code RL Training Environments [0.0]
コードRL環境が誤った解を正しく受け入れる速度を計測する。
SWE-bench Verifiedの49タクのサンプルでは、28.5%のタスクがテストスイートが弱く、Dockerで検証された不正確なパッチがそれらをパスしている。
論文 参考訳（メタデータ） (2026-06-14T23:31:42Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - Learning the Boundary of Solvability: Aligning LLMs to Detect Unsolvable Problems [51.62477754641947]
本研究では,実現可能な問題を解き,固有の矛盾を検知し,能力を超えたタスクを慎重に拒否するUnsolvableQAとUnsolvableRLを提案する。
具体的には、双トラック手法を用いて導出される、ペアで解決可能かつ解決不可能なインスタンスのデータセットであるUnsolvableQAを構築する。
このデータセット上に構築されたUnsolvableRLは,精度,未解決性,難易度を考慮した3つの報酬成分を備えた強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T13:32:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。