論文の概要: TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research

• arxiv url: http://arxiv.org/abs/2611.07962v1
• Date: Thu, 05 Nov 2026 12:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.691512
• Title: TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research
• Title（参考訳）: TCSExam:TCS研究の全範囲におけるフロンティアLSMの評価
• Abstract要約: TCSExamは、大規模な言語モデル(LLM)研究の全範囲をカバーする統一されたフレームワークとベンチマークである。 定理証明、解法工学および構成を、開予想を解こうとする直接的な試みと共に評価する。 評価により、解法出力と数学的構成が向上し、独立に検証された特別なケースとオープン・コンジェクター試行のバウンダリが得られた。
• 参考スコア（独自算出の注目度）: 24.305210824752532
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Can large language models (LLMs) advance theoretical computer science and resolve its long-standing open conjectures? To study progress toward this goal, we introduce TCSExam, a unified framework and benchmark covering the full range of TCS research. It evaluates theorem proving, solver engineering, and constructions alongside direct attempts to resolve open conjectures, capturing both concrete research accomplishments and progress toward long-standing research goals. TCSExam-Full contains 100 expert-reviewed tasks, with submissions checked by the Lean kernel or an executable task checker. TCSExam-Lite selects 20 tasks, five per track, reducing the number of task attempts by 80% at the same per-attempt budget. We evaluate eight agents on Full and nine on Lite. The TCSExam Index combines all four tracks: GPT-6 Astra leads Full (71.9), and Opus 5.5 leads Lite (72.3). Full and Lite rankings are strongly aligned across eight shared agents (Spearman's $ρ=0.93$), supporting Lite as a compact, discriminative benchmark. The evaluations yield improved solver outputs and mathematical constructions, together with independently verified special cases and bounds from open-conjecture attempts. TCSExam provides an extensible framework with task sources, Docker build recipes, and evaluation tools for reproducible use.
• Abstract（参考訳）: 大規模言語モデル(LLM)は理論計算機科学を前進させ、その長年のオープンな予想を解決できるだろうか? この目標に向けて進展を研究するために,TCS研究の全範囲をカバーする統一フレームワークとベンチマークであるTCSExamを紹介した。 定理証明、解法工学、建設を、オープンな予想を解こうとする直接的な試みと共に評価し、具体的な研究成果と長年の研究目標に向けた進歩の両方を捉えている。 TCSExam-Fullには100のエキスパートレビューされたタスクが含まれており、Leanカーネルまたは実行可能なタスクチェッカーによって検査される。 TCSExam-Liteは20のタスクを選択し、トラック毎に5つのタスクを選択できる。 フルおよび9のエージェントをLiteで評価する。 TCSExam Indexは、GPT-6 Astra Lead Full (71.9)とOpus 5.5 Lead Lite (72.3)の4つのトラックを統合している。 8つの共有エージェント(Spearmanの$ρ=0.93$)で、Liteをコンパクトで差別的なベンチマークとしてサポートしている。 評価により、解法出力と数学的構成が向上し、独立に検証された特別なケースとオープン・コンジェクター試行のバウンダリが得られた。 TCSExamは、タスクソース、Dockerビルドレシピ、再現可能な使用評価ツールを備えた拡張可能なフレームワークを提供する。

関連論文リスト

• Epi: Towards a Persistent, Self-Improving Agent for Autonomous Research [69.10926712327317]
  piはモデルセッション全体の調査を継続し、蓄積されたエクスペリエンスを通じてそのメソッドを進化させる。 12家族にまたがる20の数値境界記録と8家族にまたがる100の建設記録からなる120のレコードセット結果を生成する。 pi-turboは、モデルコストの64%でCodexよりも5.4%高いベンチマークスコアを達成した。
  論文  参考訳（メタデータ） (2026-10-18T01:30:40Z)
• Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis [0.0]
  大規模言語モデル(LLM)は、この作業を加速するかもしれないが、レビューの認知的タスクに対する信頼性は依然として不確実である。 我々は,エビデンス合成をスクリーニング,抽出,解析,合成に分解する「知識合成レビュー(KSR)」を紹介した。 我々は、GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, NotebookLMを、AI上の1,893文書コーパスから抽出した244文書のベンチマークサブセットで評価した。
  論文  参考訳（メタデータ） (2026-08-13T02:41:14Z)
• SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution [16.25554650122462]
  SWE Atlasは、Codebase Q&A(124タスク)、テストライティング(90タスク)、リファクタリング(70タスク)という、3つのプロフェッショナルソフトウェアエンジニアリングにまたがるコーディングエージェントのためのベンチマークスイートである。 あまり表現されていないが事実上重要なカテゴリをターゲットとし、包括的なカテゴリ固有の評価プロトコルを使用し、未指定のルーリックを採用する。 全体として、SWE Atlasは、コーディングエージェントの正確性とエンジニアリング品質の両方を測定するための補完的な評価スイートを提供する。
  論文  参考訳（メタデータ） (2026-05-08T18:21:44Z)
• LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling [63.679448814185456]
  テストタイムスケーリング(TTS)は,大規模言語モデルの性能向上に有効なアプローチとなっている。 既存のTS戦略は、主に手作りであり、研究者はパターンを設計し、直感で調整し、計算割り当ての空間の多くを探索していない。 環境駆動型フレームワークであるAutoTTSを提案し、研究者が設計したものを、個々のTSからTTS戦略を自動的に発見できる環境へと変更する。
  論文  参考訳（メタデータ） (2026-05-08T17:59:40Z)
• AcademiClaw: When Students Set Challenges for AI Agents [69.70303995121154]
  AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。 最高のモデルでさえ、55%のパスレートしか達成できないことを示す。 AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
  論文  参考訳（メタデータ） (2026-05-04T14:40:42Z)
• ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models [20.274878511727945]
  ReasoningShieldは、Large Reasoning Models (LRMs)におけるChain-of-Thoughts (CoTs)をモデレートするためのフレームワークである ReasoningShieldは最新のパフォーマンスを実現し、LlamaGuard-4のようなタスク固有のツールを35.6%、GPT-4oのような汎用商用モデルを15.8%向上させた。
  論文  参考訳（メタデータ） (2025-05-22T19:44:41Z)
• UnifiedSKG: Unifying and Multi-Tasking Structured Knowledge Grounding with Text-to-Text Language Models [170.88745906220174]
  本稿では,21のSKGタスクをテキスト・テキスト・フォーマットに統一するSKGフレームワークを提案する。 我々は,UnifiedSKGが21タスクのほぼすべてにおいて最先端のパフォーマンスを達成することを示す。 また、UnifiedSKGを用いて、SKGタスク間の変異をコードする構造化知識に関する一連の実験を行う。
  論文  参考訳（メタデータ） (2022-01-16T04:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。