論文の概要: Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify

• arxiv url: http://arxiv.org/abs/2610.13632v1
• Date: Fri, 09 Oct 2026 14:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.615804
• Title: Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify
• Title（参考訳）: Humanize Olympiad Agents: 解決、レビュー、Wiki、検証によるOlympiad問題解決のためのマルチセッションワークフロー
• Abstract要約: 大規模言語モデル(LLM)エージェントは、長期の科学的およびオリンピック的タスクにおいて急速に改善されている。 Humanize Olympiads Agent(Humanize Olympiads Agent)は3つの相補的なフィードバックチャネルを通じて複数のエージェントセッションを協調するオープンなフローレベルのフレームワークである。 GPT-5.6 Solで、HOAはIChO 2026のICO、IPhO、IOI 2026の完全スコアを達成し、PutnamBenchの672問題(100%)をすべて解決した。
• 参考スコア（独自算出の注目度）: 20.092866269910427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents are rapidly improving on long-horizon scientific and olympiad tasks. Recent systems have produced a Lean-formalized resolution of the Navier--Stokes problem and autonomous solutions to four open questions in the Erdős Conjectures database. Yet neither system releases both its underlying model and complete inference stack. More broadly, a single agent session remains brittle on difficult problems: early errors can propagate, missing domain knowledge can stall progress, and apparent success can mask a misinterpretation or weakening of the original task. We introduce HOA (Humanize Olympiads Agent), an open, flow-level framework that coordinates multiple agent sessions through three complementary feedback channels. First, an independent reviewer evaluates each candidate and provides actionable feedback. Second, a structured wiki supplies task-specific knowledge that may be missing or unreliable in model pretraining. Third, a verifier checks generated Lean proofs against trusted challenge statements. With GPT-5.6 Sol, HOA achieves perfect scores on the IMO, IPhO, and IOI 2026, near-full marks on the IChO 2026 problem set, and solves all 672 problems (100%) on PutnamBench. On the Lean-Eval leaderboard, HOA ranks first, solving 251 of 304 problems (82.6%). We further evaluate HOA with open models. Using Kimi-K3, HOA achieves full scores on the IMO, IPhO, and IOI, and a gold-level score of 97.1% on the IChO. These results closely match the closed-source GPT-5.6 Sol + /Goal baseline on the IMO and IPhO, while exceeding it on the IChO and IOI, demonstrating that systematic feedback can help bridge substantial differences in base-model capability.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、長期の科学的およびオリンピック的タスクにおいて急速に改善されている。 近年のシステムでは、Navier-Stokes問題に対するリーン形式化された解決と、Erdés Conjecturesデータベースにおける4つのオープンな質問に対する自律的な解決策が生み出されている。 しかし、どちらのシステムも基盤となるモデルと完全な推論スタックの両方をリリースしていない。 早期エラーは伝播し、ドメイン知識の欠如は進行を阻害し、明らかな成功は、本来のタスクの誤解や弱体化を隠蔽する。 Humanize Olympiads Agent(Humanize Olympiads Agent)は3つの相補的なフィードバックチャネルを通じて複数のエージェントセッションを協調するオープンなフローレベルのフレームワークである。 まず、独立したレビュアーが各候補を評価し、実行可能なフィードバックを提供する。 第二に、構造化wikiは、モデル事前訓練で欠けているか、あるいは信頼できない可能性のあるタスク固有の知識を提供する。 第三に、検証者は信頼できるチャレンジステートメントに対するリーン証明を生成する。 GPT-5.6 Solで、HOAはIChO 2026のICO、IPhO、IOI 2026の完全スコアを獲得し、PutnamBenchの672問題(100%)をすべて解決した。 Lean-Evalのリーダーボードでは、HOAが最初にランクインし、304の問題の251つ(82.6%)を解決した。 さらに,オープンモデルを用いてHOAを評価する。 HOAはKim-K3を使用してIMO、IPhO、IOIでフルスコアを獲得し、IChOでは97.1%のゴールドスコアを獲得している。 これらの結果は、IGT-5.6 Sol + /Goal baseline on the IMO と IPhO を上回り、IChO と IOI を上回り、体系的なフィードバックがベースモデル能力のかなりの違いを橋渡しできることを示した。

関連論文リスト

• Humanize: Judgement Engineering for Agentic Coding [15.23298019734051]
  我々は、判断工学を中心に構築されたエージェントコーディングのためのマルチエージェントオーケストレーションワークフローであるHumanizeを紹介する。 人間がプラン契約を承認し、ビルダーエージェントがそれをラウンドで実装し、他のベンダーのレビュアーエージェントが完了を決定する。 我々は,Humanizeの展開,実ループの公開後118件,とその応用について検討する。
  論文  参考訳（メタデータ） (2026-10-06T17:54:42Z)
• Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
  Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。 まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。 第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
  論文  参考訳（メタデータ） (2026-08-11T18:48:40Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• CombiGraph-Vis: A Curated Multimodal Olympiad Benchmark for Discrete Mathematical Reasoning [3.609560822507327]
  State-of-the-art (SOTA) LLMは、証明ベースのOlympiad問題から、IMO 2025問題のほとんどを解決するまで、進歩してきた。 本稿では,90 Gemini 2.5 Pro生成ソリューションのコーパスを用いて,詳細なエラーアノテーションを用いた1-4スケールで評価を行った。 分析の結果、モデルが不正確な解を確実にフラグ付けできるが、部分クレジットの割り当て方法にキャリブレーションのギャップがあることがわかった。
  論文  参考訳（メタデータ） (2025-10-31T01:31:58Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• LiveOIBench: Can Large Language Models Outperform Human Contestants in Informatics Olympiads? [5.835205320809048]
  LiveOIBenchは403のOlympiadレベルの競合プログラミング問題と60のエキスパート設計テストケースを特徴とするベンチマークである。 この問題は2023年から2025年の間に行われた、72の公式のインフォマティクス・オリンピアード(英語版)から直接引き起こされている。 LiveOIBenchは,詳細なサブタスクと広範なプライベートテストケースを備えた,厳密にキュレートされた高品質なタスクという,4つの重要な機能を通じて,自分自身を区別する。
  論文  参考訳（メタデータ） (2025-10-10T17:54:24Z)
• RefGrader: Automated Grading of Mathematical Competition Proofs using Agentic Workflows [8.700422995850152]
  State-of-the-art (SOTA) LLMは、証明ベースのOlympiad問題から、IMO 2025問題のほとんどを解決するまで、進歩してきた。 本稿では,90 Gemini 2.5 Pro生成ソリューションのコーパスを用いて,詳細なエラーアノテーションを用いた1-4スケールで評価を行った。 分析の結果、モデルが不正確な解を確実にフラグ付けできるが、部分クレジットの割り当て方法にキャリブレーションのギャップがあることがわかった。
  論文  参考訳（メタデータ） (2025-10-10T05:47:40Z)
• SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
  Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。 本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。 我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
  論文  参考訳（メタデータ） (2024-09-11T17:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。