論文の概要: Can LLMs Perform Deep Technical Comprehension of Computer Architecture Papers?

• arxiv url: http://arxiv.org/abs/2607.11859v1
• Date: Mon, 13 Jul 2026 17:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.578238
• Title: Can LLMs Perform Deep Technical Comprehension of Computer Architecture Papers?
• Title（参考訳）: LLMはコンピュータアーキテクチャ論文の深い理解を実現することができるか?
• Abstract要約: 独立した専門家-個人レビューア5名を通じて論文を分析する,オープンソースのパイプラインであるGauntletについて検討する。 20のISCA 2025とHPCA 2026の論文では、それぞれ10人の研究者が独自の分析論文を書き、それ以外はガントレットに対する人間による分析であると判断した。 コミュニティリソースとして、分析、スコア、ルーブリックをすべてリリースします。
• 参考スコア（独自算出の注目度）: 1.4850365055063348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can large language models perform deep technical comprehension of computer architecture papers -- not summarization, but structured critique that names the core mechanism, surfaces buried assumptions, and connects a contribution beyond its own scope? We study Gauntlet, an open-source pipeline that analyzes a paper through five independent expert-persona reviewers and an adversarial synthesis stage. On 20 ISCA 2025 and HPCA 2026 papers, ten researchers each wrote their own analyses and then judged, for papers other than their own, the human analysis against Gauntlet's. Across the 20 comparisons evaluators preferred Gauntlet in 15 (human in 4, one tie); its advantage is significant on per-analyst totals (paired Wilcoxon, p < 0.01) and largest on Critical Rigor, vanishing only on Calibration. Where humans win, it is on trust and usefulness rather than depth: a confident wrong claim, a mechanism described but not taught, or unprioritized breadth. A 98-paper automated ablation shows the gain comes from the multi-agent structure -- the pipeline beats the same model run as a single rich-persona agent on 96% of papers -- and specifically from its synthesis pass. We release all analyses, scores, and the rubric as a community resource.
• Abstract（参考訳）: 大きな言語モデルは、コンピュータアーキテクチャ論文の深い技術的な理解を実行することができる -- 要約ではなく、コアメカニズムを命名し、埋もれた仮定を表面化し、自身のスコープを越えてコントリビューションを接続する構造化された批判だろうか? 独立系専門家・個人レビューア5名による論文分析と,対人合成の段階であるGauntletについて検討する。 20のISCA 2025とHPCA 2026の論文では、それぞれ10人の研究者が独自の分析論文を書き、それ以外はガントレットに対する人間による分析であると判断した。 20の比較では、15のガントレット(人間は4本、ネクタイは1本)が好まれ、その優位性は分析対象の総数(ウィルコクソン、p < 0.01)で有意であり、臨界リゴールで最大であり、校正でのみ消滅する。 人間が勝つとき、それは深みよりも信頼と有用性にかかっている:自信ある間違った主張、しかし教えられていないメカニズム、または優先順位のない広さである。 98紙の自動化アブレーションは、マルチエージェント構造(パイプラインは96%の論文で1つのリッチペルソナエージェントとして実行されるのと同じモデル)、特に合成パスから利益を得ていることを示している。 コミュニティリソースとして、分析、スコア、ルーブリックをすべてリリースします。

関連論文リスト

• Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
  DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。 その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。 DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
  論文  参考訳（メタデータ） (2026-08-18T17:29:00Z)
• Code as Representation: A Compilable Parsing Paradigm for Academic Documents [50.40789738182074]
  Compilable Academic Document Parsing (CADP)は、コンテキストラプラス実行可能なPythonとして全ページを再構築するパラダイムである。 テキストと複数のSAEタイプを含む全学術ページのエキスパート検証ベンチマークであるCADP-Benchを紹介する。 その結果、フロンティアモデルでさえも、高忠実度で実行可能な再構築を行うのに苦戦していることがわかった。
  論文  参考訳（メタデータ） (2026-08-18T09:10:43Z)
• Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis [0.0]
  大規模言語モデル(LLM)は、この作業を加速するかもしれないが、レビューの認知的タスクに対する信頼性は依然として不確実である。 我々は,エビデンス合成をスクリーニング,抽出,解析,合成に分解する「知識合成レビュー(KSR)」を紹介した。 我々は、GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, NotebookLMを、AI上の1,893文書コーパスから抽出した244文書のベンチマークサブセットで評価した。
  論文  参考訳（メタデータ） (2026-08-13T02:41:14Z)
• AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
  研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。 我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。 障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
  論文  参考訳（メタデータ） (2026-05-18T17:08:26Z)
• GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
  本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。 実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。 GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:55Z)
• PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing [43.290959385976414]
  PaperOrchestraは、自動AI研究論文作成のためのマルチエージェントフレームワークである。 制約のない事前制約された資料を提出可能な原稿に変換する。 PaperWritingBenchは、200の上位階層のAIカンファレンス論文から、リバースエンジニアリングされた原料の最初の標準ベンチマークである。
  論文  参考訳（メタデータ） (2026-04-06T18:00:00Z)
• ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
  我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。 これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。 GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
  論文  参考訳（メタデータ） (2026-02-16T19:00:03Z)
• Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
  72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。 我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。 ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
  論文  参考訳（メタデータ） (2026-01-18T11:57:09Z)
• RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
  RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
  論文  参考訳（メタデータ） (2026-01-14T11:37:00Z)
• Bias is a Math Problem, AI Bias is a Technical Problem: 10-year Literature Review of AI/LLM Bias Research Reveals Narrow [Gender-Centric] Conceptions of 'Bias', and Academia-Industry Gap [0.1534667887016089]
  ACL、FAccT、NeurIPS、AAAIの4つの主要な会場/組織において、AI/LLMバイアスをカバーする研究のレビューを行う。 189件の論文を通じて、偏見研究のパターンと、それらが一般的に注目する人間のアイデンティティの軸について明らかにした。 今後AI/LLMフェアネス研究への推奨で締めくくります。
  論文  参考訳（メタデータ） (2025-08-14T20:53:33Z)
• SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
  SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。 アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。 また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
  論文  参考訳（メタデータ） (2025-06-15T02:23:47Z)
• AutoRev: Multi-Modal Graph Retrieval for Automated Peer-Review Generation [5.72767946092813]
  AutoRevは自動ピアレビューシステムで、レビュアーと著者の両方に実用的な高品質のフィードバックを提供するように設計されている。 ドキュメントをグラフとしてモデル化することで、AutoRevは、最も関連する情報を効果的に取得する。 AutoRevはピアレビューワークフローを合理化し、課題を緩和し、スケーラブルで高品質な学術出版を可能にする強力なツールだと考えています。
  論文  参考訳（メタデータ） (2025-05-20T13:59:58Z)
• PaperBench: Evaluating AI's Ability to Replicate AI Research [3.4567792239799133]
  PaperBenchは、AIエージェントが最先端のAI研究を複製する能力を評価するベンチマークである。 エージェントは、スクラッチから20個のICML 2024 SpotlightとOralの文書を複製する必要がある。 PaperBenchには8,316の個別の段階的なタスクが含まれている。
  論文  参考訳（メタデータ） (2025-04-02T15:55:24Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。