論文の概要: The IOL-AI Challenge: An Open Challenge towards Advancing Linguistic Reasoning

• arxiv url: http://arxiv.org/abs/2608.18011v1
• Date: Tue, 18 Aug 2026 17:00:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.411427
• Title: The IOL-AI Challenge: An Open Challenge towards Advancing Linguistic Reasoning
• Title（参考訳）: IOL-AIチャレンジ: 言語推論の促進に向けたオープンチャレンジ
• Abstract要約: IOL-AI Challengeは、国際言語学会(IOL)2026年大会の未確認問題に焦点を当てたオープンサイエンスコンペティションである。 クロード・オプス(Claude Opus)4.8(Claude Opus)が金メダル相当のスコアを獲得した。 また、審査員が正確にランク付けするが、スケールを圧縮し、弱いシステムを13ポイントアップし、強いシステムを下方修正する。
• 参考スコア（独自算出の注目度）: 42.119200854891226
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reasoning in LLMs is overwhelmingly studied in domains that provide a model with rules: mathematics and code. Linguistic puzzles invert this: the solver must first discover the system before reasoning within it. We present the IOL-AI Challenge, an open-science competition run on the unseen problems of the International Linguistics Olympiad (IOL) 2026 Individual Contest, evaluated both automatically and, for the first time, by members of the official IOL Jury under the same rubrics applied to human contestants. The challenge drew 731 submissions from 46 teams under a strict compute budget (one T4, 30 mins). We additionally benchmark 15 unconstrained frontier and open models, with Claude Opus 4.8 earning a jury score equivalent to a gold medal, while both resource-constrained systems we submitted for jury grading scored in the range of the bottom 5% of contestants. Capability was not determined by scale: 14B submissions outperform models twice their size, and gains come from decoding and output-handling rather than model capacity. We also found that automatic metrics rank systems exactly as the jury does, but compress the scale, upscoring weak systems by ~13 points and understating strong ones. Our analysis shows that while frontier models might have prior knowledge about some of the problem languages, it does not significantly help them solve the linguistic reasoning tasks, leaving linguistic reasoning as a strong benchmarking proxy for generalizable reasoning skills.
• Abstract（参考訳）: LLMにおける推論は、数学とコードという規則のモデルを提供する領域で圧倒的に研究されている。 言語パズルは、これを逆転する: 解法は、まずシステム内で推論する前にシステムを発見する必要がある。 我々は,国際言語学会 (IOL) 2026 の未確認問題に焦点を当てたオープンサイエンスコンペティションである IOL-AI Challenge を,ヒトの競技者に適用した公式の IOL Jury のメンバーによって,自動的かつ初めて評価された。 この挑戦は、46チームから厳格な計算予算(1T4,30分)で761人が応募した。 さらに15の未制限のフロンティアとオープンモデルのベンチマークを行い、クロード・オプス4.8は金メダルに相当する審査員のスコアを獲得しました。 14Bはモデルのサイズを2倍に上回り、デコードや出力処理によって利益を得る。 また、審査員が正確にランク付けするが、スケールを圧縮し、弱いシステムを13ポイントアップし、強いシステムを下方修正する。 我々の分析によると、フロンティアモデルはいくつかの問題言語について事前知識を持っているかもしれないが、言語推論の課題を解くのにはあまり役に立たず、言語推論は一般化可能な推論スキルの強力なベンチマークプロキシとして残されている。

関連論文リスト

• Post-Training Language Models for Gold-Medal Performance in Coding Competitions [70.8192632995446]
  本稿では,大規模問題キュレーション,合成推論トレース,教師付き微調整,強化学習を組み合わせたエンドツーエンドの特殊化パイプラインを提案する。 SFTとRLでNemotron-3-Nano-CCを,SFT単独でNemotron-3-Ultra-CC(550B-A55B)を訓練した。 IOI 2025では、Nano-CCはポストトレーニング後の130点から291点に改善され、GenCorrectでは468点に改善され、Ultra-CCは502点に達した。
  論文  参考訳（メタデータ） (2026-09-02T17:33:37Z)
• LiveOIBench: Can Large Language Models Outperform Human Contestants in Informatics Olympiads? [5.835205320809048]
  LiveOIBenchは403のOlympiadレベルの競合プログラミング問題と60のエキスパート設計テストケースを特徴とするベンチマークである。 この問題は2023年から2025年の間に行われた、72の公式のインフォマティクス・オリンピアード(英語版)から直接引き起こされている。 LiveOIBenchは,詳細なサブタスクと広範なプライベートテストケースを備えた,厳密にキュレートされた高品質なタスクという,4つの重要な機能を通じて,自分自身を区別する。
  論文  参考訳（メタデータ） (2025-10-10T17:54:24Z)
• LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming? [88.29001498765629]
  大規模言語モデル(LLM)は、競争力のあるプログラミングにおいてエリート人間より優れています。 我々はこの主張を再考し、LLMが人間の専門家とどのように異なるのか、そしてまだ限界が残っているのかを考察する。 私たちは、Codeforces、ICPC、IOIの問題からなるベンチマークであるLiveCodeBench Proを紹介します。 オリンピアードのメダリストのチームはアルゴリズムカテゴリーのあらゆる問題に注釈を付け、失敗したモデル生成の提出をライン・バイ・ラインで分析する。
  論文  参考訳（メタデータ） (2025-06-13T16:29:09Z)
• Large Language Models in Numberland: A Quick Test of Their Numerical Reasoning Abilities [0.0]
  ナンバーランド(Numberland)は、LSMをベースとしたエージェントの数値推論能力を評価するための100プロブレム試験である。 OpenAIのo1とo1-mini, Google Gemini, Microsoft Copilot, Anthropic Claudeの5つのLDMエージェントを評価した。 私たちは25の難しい問題に対してトップ24ソルバ(o1と73%の精度)をテストし、そのスコアは27%に低下し、ボトルネックとして検索を確認しました。
  論文  参考訳（メタデータ） (2025-03-31T21:06:39Z)
• CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings [70.95565672516979]
  LiveCodeBenchやUSACOといった既存のベンチマークは、プライベートテストケースの可用性の欠如、特別な審査員のサポートの欠如、不整合実行環境のために不足している。 CodeEloは標準化された競合レベルのコード生成ベンチマークで、これらすべての課題に初めて効果的に対処する。
  論文  参考訳（メタデータ） (2025-01-02T13:49:00Z)
• Can Language Models Solve Olympiad Programming? [40.54366634332231]
  本稿ではUSACOベンチマークについて,USA Computing Olympiadの307の問題点について紹介する。 競争型プログラミングのための様々なLM推論手法を初めて構築・テストする。 GPT-4 は 8.7% パス@1 の精度しか達成していない。
  論文  参考訳（メタデータ） (2024-04-16T23:27:38Z)
• OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
  我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。 最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。 GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
  論文  参考訳（メタデータ） (2024-02-21T18:49:26Z)
• Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
  LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。 我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
  論文  参考訳（メタデータ） (2022-10-31T17:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。