論文の概要: AIMO Interpretability Challenge
- arxiv url: http://arxiv.org/abs/2607.13899v1
- Date: Wed, 15 Jul 2026 14:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.801972
- Title: AIMO Interpretability Challenge
- Title(参考訳): AIMOの解釈可能性問題
- Abstract要約: この課題は、標準推論ベンチマークの集中的な制限によって動機付けられている。
モデルが安定した推論機構に依存するか、不安定な推論ショートカットを利用するかは明らかになっていない。
このコンペティションは、新たに発行されたオリンピックレベルの数学推論問題とそのシンボル表現を提供する。
参加者は、これらのリソースと、私たちのコンピューティングインフラストラクチャーサポートを使って、どのモデルを堅牢に解決するかを特定する方法を開発する。
- 参考スコア(独自算出の注目度): 45.73236376410173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose the AIMO Interpretability Challenge, a competition on distinguishing robust from spurious reasoning in frontier mathematical language models based on the models' internal mechanisms. The challenge is motivated by a central limitation of standard reasoning benchmarks: strong final-answer accuracy does not reveal whether a model relies on stable reasoning mechanisms or exploits brittle reasoning shortcuts. Building on AI Mathematical Olympiad (AIMO) problems and submissions, together with resources from the Fields Model Initiative, the competition will provide (1) newly-published olympiad-level math reasoning problems and their symbolic representations, allowing generation of novel functional variants, (2) access to frontier reasoning models, and (3) assessments of models' adversarial robustness on these problems. Participants will use these resources, along with our computing infrastructure support, to develop methods for identifying which models solve problems robustly. Our competition will also create a new, open robustness benchmark and baseline systems, aiming to provide a lasting foundation for standard benchmarking in mathematical reasoning and interpretability. Scientifically, the competition connects interpretability and generalization research around a central question in AI research: can we determine if, and to what extent, the decision-making of frontier AI models is generalizable and thus, reliable?
- Abstract(参考訳): 本稿では,モデルの内部メカニズムに基づくフロンティア数学的言語モデルにおいて,ロバストな推論からロバストな推論を区別するコンテストであるAIMO Interpretability Challengeを提案する。
強い最終回答精度は、モデルが安定した推論機構に依存するか、不安定な推論ショートカットを利用するかを明らかにしない。
AI数学オリンピアード(AIMO)問題と提出、フィールドズモデルイニシアチブ(Fields Model Initiative)のリソースを合わせて、このコンペティションは(1)新しいオリンピアードレベルの数学推論問題とその象徴的な表現を提供し、新しい機能的変種の生成を可能にし、(2)フロンティア推論モデルへのアクセス、(3)これらの問題に対するモデルの敵的堅牢性の評価を提供する。
参加者は、これらのリソースと、私たちのコンピューティングインフラストラクチャーサポートを使って、どのモデルを堅牢に解決するかを特定する方法を開発する。
私たちのコンペティションは、数学的推論と解釈可能性において標準ベンチマークのための持続的な基盤を提供することを目的として、新しいオープンな堅牢性ベンチマークとベースラインシステムも作成します。
科学的には、このコンペティションはAI研究の中心的な問題に関する解釈可能性と一般化の研究を結びつけている。
関連論文リスト
- INSPIRE: An Internalize-Then-Improve Approach for Example-Driven Mathematical Reasoning [61.60016491769943]
人間の数学教育において、定理境界をテストするために反例を構築するような例に基づく推論は、深い概念的理解を反映している。
本稿では,RGSI(Reference-Guided Students Internalization)と段階的選好学習戦略を組み合わせた内在化・内在化アプローチであるINSPIREを提案する。
複数のモデルスケールとファミリーにわたる実験は、大規模なオープンソースモデルを超えながら、一貫した改善を示している。
論文 参考訳(メタデータ) (2026-08-27T03:24:03Z) - A Survey of Reasoning in Autonomous Driving Systems: Open Challenges and Emerging Paradigms [49.66022971508878]
私たちは、推論はモジュラーコンポーネントからシステムの認知コアに高めるべきだと論じています。
応答性推論のトレードオフやソーシャルゲーム推論など,7つの中核的推論課題を導出し,体系化する。
我々は,LLMに基づく推論と,ミリ秒スケールで安全クリティカルな車両制御の要求との間の,高レイテンシ,熟考的特性の根本的かつ未解決な緊張関係を同定する。
論文 参考訳(メタデータ) (2026-03-11T07:40:53Z) - Modeling Open-World Cognition as On-Demand Synthesis of Probabilistic Models [93.1043186636177]
我々は、人々が分散表現と象徴表現の組み合わせを使って、新しい状況に合わせた見知らぬ精神モデルを構築するという仮説を探求する。
モデル合成アーキテクチャ」という概念の計算的実装を提案する。
我々は、新しい推論データセットに基づく人間の判断のモデルとして、MSAを評価した。
論文 参考訳(メタデータ) (2025-07-16T18:01:03Z) - Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。
大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。
本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
論文 参考訳(メタデータ) (2025-04-04T04:04:56Z) - Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation [24.081573908824353]
一階述語論理(FOL)推論はインテリジェントシステムにおいて重要である。
既存のベンチマークは、広範囲の人間のアノテーションや手作りテンプレートに依存していることが多い。
本稿では,大言語モデルの生成強度を記号型プローサの厳密性と精度で相乗化するProverGenという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-10T15:31:54Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳(メタデータ) (2025-02-07T17:01:37Z) - On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。
GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。
本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
論文 参考訳(メタデータ) (2025-01-23T16:58:18Z) - VCSearch: Bridging the Gap Between Well-Defined and Ill-Defined Problems in Mathematical Reasoning [26.61758685366347]
5000以上の不確定な数学的問題を含むPMC(Issue with Missing and Contradictory conditions)というベンチマークを開発した。
VCSEARCHは、解決不可能な問題を特定する精度を、さまざまな大きな言語モデルで少なくとも12%向上させる。
論文 参考訳(メタデータ) (2024-06-07T16:24:12Z) - Towards a Unified Framework for Evaluating Explanations [0.6138671548064356]
我々は、モデルと利害関係者の間の仲介者として、本質的に解釈可能なモデルであれ、不透明なブラックボックスモデルであれ、説明が役立ちます。
本稿では,学習者の行動を予測するための解釈可能なニューラルネットワークの例を用いて,これらの基準と具体的な評価手法について述べる。
論文 参考訳(メタデータ) (2024-05-22T21:49:28Z) - Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。
L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。
我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
論文 参考訳(メタデータ) (2023-12-07T03:55:51Z) - Make Your Decision Convincing! A Unified Two-Stage Framework:
Self-Attribution and Decision-Making [24.906886146275127]
自己貢献・意思決定(SADM)として知られる統合された2段階の枠組みを提案する。
我々のフレームワークは、生成した合理性とモデル決定とのより信頼性の高いリンクを確立するだけでなく、タスク性能と合理性の品質の競争結果も達成している。
論文 参考訳(メタデータ) (2023-10-20T15:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。