論文の概要: Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation

• arxiv url: http://arxiv.org/abs/2605.04135v1
• Date: Tue, 05 May 2026 17:58:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.460973
• Title: Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation
• Title（参考訳）: Frontier Lag: 学術的AI評価における能力の誤表現に関するバイオメトリック監査
• Authors: David Gringras, Misha Salahshoor,
• Abstract要約: テストモデルとEpoch AI能力指数の同時フロンティアを比較した。 これらの回答のギャップは、+5.53 ECI/年で拡大している。 提案されている改善には、APIアクセス助成金と報告フレームワークの編集執行が含まれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Readers of applied-domain LLM capability evaluations want to know what AI systems can currently do. That literature answers a related, but consequentially different, question: what older, cheaper, less-elicited models could do months or years earlier (a 2026 paper evaluating GPT-4o-mini zero-shot, say, against a frontier of reasoning-capable, tool-using systems like GPT-5.5 Pro and Claude Opus 4.7), often reported with sparse configuration details and abstracted upward into claims about "AI" that propagate through citations, media, and policy. We measure the 'publication elicitation gap' (the gap between these answers) in a pre-registered audit of 112,303 LLM-keyword-matched candidate records (2022-01 to 2026-04; 18,574 admissible, 4,766 full-paper texts retrievable), comparing tested models to the contemporaneous frontier on the Epoch AI Capabilities Index (ECI), reproduced under Arena Elo and Artificial Analysis. The median paper evaluates a model +10.85 ECI (~1.4x the distance between Claude Sonnet 3.7 and Claude Opus 4.5) behind the contemporaneous frontier at evaluation time (H1); an exploratory rational-lag baseline (H8) decomposes this into ~25% peer-review latency, ~75% excess lag. The gap is widening at +5.53 ECI/year (H2; 95% CI [+5.03, +5.83]). Meanwhile, only 3.2% of abstracts (21.2% of full-texts) disclose reasoning-mode status on reasoning-capable models (H4) and 52.5% (95% CI [48.2, 56.9]) state conclusions at the level of "AI" rather than the evaluated model(s), rising at OR = 1.23/year. Proposed remedies include API-access subsidies and editorial enforcement of reporting frameworks mandating configuration-surface disclosure (model snapshot, reasoning mode/effort, tool access, scaffolding, prompting, etc.); VERSIO-AI is a 13-item checklist (Core 3 desk-reject) extending existing frameworks at the elicitation surface, with per-DOI analysis at frontierlag.org.
• Abstract（参考訳）: 応用ドメインのLLM能力評価の読者は、AIシステムが現在何ができるかを知りたい。 GPT-4o-miniゼロショットを評価する2026年の論文では、GPT-5.5 ProやClaude Opus 4.7のような推論可能なツールを使用するシステムのフロンティアに対して、引用、メディア、ポリシーを通じて伝播する"AI"に関する主張に要約されることが多い。 本研究では,112,303 LLM-keyword-matched candidate record (2022-01 - 2026-04; 18,574 許容可能,4,766 全文検索可能) の事前登録監査において,テストモデルとEpoch AI Capabilities Index (ECI) の同時フロンティアを比較した。 中央値の論文では、Claude Sonnet 3.7 と Claude Opus 4.5 のモデル +10.85 ECI (~1.4倍) を評価時(H1)に同時フロンティアの後方で評価し、探索的有理ラグベースライン (H8) では、これを ~25% のピアレビュー遅延 ~75% の過剰ラグに分解する。 ギャップは+5.53 ECI/年(H2;95% CI [+5.03, +5.83])である。 一方、推論可能なモデル(H4)の推論モード状態(21.2%)と52.5%(95% CI [48.2, 56.9])は、評価されたモデルよりも「AI」のレベルで、OR = 1.23/年で上昇している。 提案されている改善には、APIアクセス補助や、設定表面の開示を強制するフレームワーク(モデルスナップショット、推論モード/実行、ツールアクセス、スキャフォールト、プロンプトなど)の編集の実施が含まれる。

関連論文リスト

• GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
  本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。 実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。 GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:55Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
  我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。 これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。 GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
  論文  参考訳（メタデータ） (2026-02-16T19:00:03Z)
• NewsScope: Schema-Grounded Cross-Domain News Claim Extraction with Open Models [0.15039745292757667]
  NewsScopeは、スキーマ付きニュースクレーム抽出のためのクロスドメインデータセット、ベンチマーク、微調整モデルである。 データセットには政治、健康、科学/環境、ビジネスに関する455の記事が含まれている。 LLaMA 3.1 8Bは、LoRAを315のトレーニング例で微調整し、保持領域内(80記事)とアウト・オブ・ソース(60記事)のテストセットで評価した。
  論文  参考訳（メタデータ） (2025-12-26T19:17:21Z)
• Comparative Analysis of LLM Abliteration Methods: A Cross-Architecture Evaluation [0.0]
  本研究は16種類の教科モデルを対象とした4つの音読ツールについて検討した。 シングルパス法は、ベンチマークしたサブセットで優れた性能を保った。 主な発見は、数学的推論能力は、消音介入に対して最も敏感であることを示している。
  論文  参考訳（メタデータ） (2025-12-15T18:48:42Z)
• AI Transparency Atlas: Framework, Scoring, and Real-Time Model Card Evaluation Pipeline [2.1787849426740364]
  我々は5つのフロンティアモデル(Gemini 3, Grok 4.1, Llama 4, GPT-5, Claude 4.5)と100台のHugging Faceモデルカードからドキュメントを分析した。 安全クリティカルな開示を優先する8つのセクションと23のサブセクションからなる重み付き透明性フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-13T19:48:44Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Adaptive Monitoring and Real-World Evaluation of Agentic AI Systems [3.215065407261898]
  大規模言語モデルと外部ツールを組み合わせたマルチエージェントシステムは、研究機関からハイテイクドメインへと急速に移行している。 この「先進的な」続編は、アルゴリズムのインスタンス化や経験的な証拠を提供することで、そのギャップを埋める。 AMDMは擬似ゴールドリフトで異常検出遅延を12.3秒から5.6秒に減らし、偽陽性率を4.5%から0.9%に下げる。
  論文  参考訳（メタデータ） (2025-08-28T15:52:49Z)
• Seed1.5-Thinking: Advancing Superb Reasoning Models with Reinforcement Learning [231.11339402237903]
  反応前に思考を通して推論できるSeed1.5-Thinkingを紹介した。 Seed1.5-ThinkingはAIME 2024で86.7、Codeforcesで55.0、GPQAで77.3を達成した。 これは、STEMとコーディングにおいて優れた推論能力を示す。
  論文  参考訳（メタデータ） (2025-04-10T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。