論文の概要: ArchitectureIQ: On the Measure of Training Intuition

• arxiv url: http://arxiv.org/abs/2609.39714v1
• Date: Wed, 30 Sep 2026 13:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.844231
• Title: ArchitectureIQ: On the Measure of Training Intuition
• Title（参考訳）: ArchitectureIQ: トレーニング直観の測定について
• Abstract要約: LLMと人間のモデル直観を測定する。 LLMのモデル直観はよいが、4つの制限がある。 これは、データがAIの真の"ダークマター"であることを示唆している。
• 参考スコア（独自算出の注目度）: 14.807605632197223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Top researchers have good intuition, but do language models have as good intuition about model training as top AI researchers? To measure model intuition of LLMs and humans, we introduce the ArchitectureIQ benchmark. Each question presents a synthetic dataset and several training recipes, and the test-taker is asked to predict the recipe yielding the best test metric. Overall, we find that LLMs' model intuition is good but has four limitations: (1) The intuition is imperfect, or even sub-human in some cases. Frontier models achieve around 76% accuracy (random choice 33%) vs best human researcher (66.0%), yet remain far from perfect. For architecture-only questions, best human achieves 65% while GPT-6 Astra only has 38%. (2) The intuition is empirical, not structured, supported by the fact that more CoT compute does not lead to substantial improvement. Unlike math, we still lack a "Science of AI" language that enables structured reasoning on AI. (3) The intuition is not maximally condensed, and can be further compressed into a knoledge base. Our constructed knowledge base with only 20 items yields large gains for weak models: GPT-4o equipped with the accumulated knowledge almost matches the performance of Claude Opus 5. (4) The intuition is insensitive to dataset properties, but the best model should in general depend on data properties. This suggests that data is the real "dark matter" in AI -- LLMs (so do human researchers) understand too little about data, even less than model architectures.
• Abstract（参考訳）: トップ研究者は優れた直感を持っているが、言語モデルはトップAI研究者と同じくらい、モデルトレーニングについて良い直感を持っているだろうか? LLMとヒトのモデル直観を測定するために,ArchitectureIQベンチマークを導入する。 それぞれの質問は、合成データセットといくつかのトレーニングレシピを示し、テストテッカーは、最高のテストメトリクスを得るレシピを予測するように要求される。 全体として、LLMのモデル直観は良いが、4つの制限がある。 フロンティアのモデルでは76%の精度(ランダムな選択は33%)と優れた人間の研究者(66.0%)を達成しているが、完璧には程遠いままである。 アーキテクチャのみの問題では、優れた人間は65%、GPT-6 Astraは38%である。 2) 直観は経験的であり、構造化されていないが、より多くのCoT計算が実質的な改善に繋がらないという事実に支えられている。 数学とは異なり、AIの構造化推論を可能にする「AIの科学」言語はいまだに欠けている。 (3)直観は極大に凝縮されず、さらにノリッジ基底に圧縮することができる。 20項目しか持たない構築された知識ベースは、弱いモデルに対して大きな利益をもたらす: GPT-4oは、蓄積された知識を装備し、クロードオプス5の性能とほぼ一致する。 (4) 直観はデータセットの性質に敏感であるが、最良のモデルは一般にデータ特性に依存するべきである。 これは、データがAIの真の"ダークマター"であることを示している。LLM(つまり人間の研究者)は、モデルアーキテクチャよりもはるかに少ないデータについて理解しすぎている。

関連論文リスト

• Code Consistency Preference Optimization Verification for Language Model Alignment [4.019632358747631]
  本稿では,実行-一貫性のある優先最適化のための依存グラフを用いた計算音響解を生成する手法を提案する。 我々は,UltraFeedbackプロンプト,モデル生成,検証,一貫性結果を用いて,科学的推論データセットを構築した。 微調整のLlama-3-8BとDeepSeekMath-7Bは、MATHでは+17.0%、GSM8Kでは+15.1%という大きな利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-18T09:51:13Z)
• Input-Time Scaling [2.2917707112773598]
  現在のLarge Language Models (LLM) は通常、大規模にキュレートされたデータセットでポストトレーニングされる。 本稿では,クエリにリソースを配置することで,従来のスケーリング手法を補完する新しいスケーリングパラダイムであるInput-Time Scalingを提案する。 データ品質の低いデータセットが、パフォーマンスを向上できるのに驚きました。
  論文  参考訳（メタデータ） (2025-08-19T09:04:13Z)
• From Data to Commonsense Reasoning: The Use of Large Language Models for Explainable AI [0.0]
  本研究では,大規模言語モデル(LLM)の有効性について検討した。 モデルが異なるデータセット上で人間より優れており、LLMがコモンセンスで推論できることを実証する。 回答者の66%がGPT-3.5の説明を「良い」か「優れている」と評価した。
  論文  参考訳（メタデータ） (2024-07-04T09:38:49Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• CommonsenseQA 2.0: Exposing the Limits of AI through Gamification [126.85096257968414]
  現代自然言語理解モデルの能力をテストするベンチマークを構築した。 本研究では,データ構築の枠組みとしてゲーミフィケーションを提案する。
  論文  参考訳（メタデータ） (2022-01-14T06:49:15Z)
• Does entity abstraction help generative Transformers reason? [8.159805544989359]
  本稿では,事前学習したトランスフォーマーにエンティティ型抽象化を組み込むことの有用性について検討する。 論理的推論の異なる4つのNLPタスクに対して,これらの手法を検証した。
  論文  参考訳（メタデータ） (2022-01-05T19:00:53Z)
• COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences [21.11065466376105]
  常識推論は人間にとって直感的であるが、人工知能(AI)の長期的な課題である。 事前訓練された言語モデルの最近の進歩は、いくつかのCommonsenseベンチマークデータセットで有望な結果を示している。 本稿では,自然言語真偽文からなる新しいコモンセンス推論ベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2021-06-02T06:31:55Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。