論文の概要: Do AI Agents Understand Computer Architecture?
- arxiv url: http://arxiv.org/abs/2609.19387v1
- Date: Wed, 16 Sep 2026 20:10:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.996351
- Title: Do AI Agents Understand Computer Architecture?
- Title(参考訳): AIエージェントはコンピュータアーキテクチャを理解するか?
- Abstract要約: オートチューリングは同じエージェントを同じ15次元の加速器空間で2回操作する。
2つの間のギャップは測定値です。
批評家のループは、盲目のエージェントのギャップの大部分を回復し、アーキテクトに何も買わない。
- 参考スコア(独自算出の注目度): 0.3176327333793051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agents are increasingly asked to design hardware, and increasingly reported to succeed. Such reports establish that a design improved; they cannot establish why. An agent that improves an accelerator may be reasoning about the machine, or may be searching competently over knobs whose meaning it never recovers -- and only the first transfers to the next architecture. Existing evaluations cannot tell the two apart, because they vary the agent while holding the framing of the problem fixed. We do the opposite. AutoTuring hands the same agent the same 15-dimensional accelerator space twice: once as named architectural knobs with simulator counters, once as anonymous variables on [0,1], with the evaluator, the legal space and the reachable optima held identical, so that the only thing that varies is whether the problem means anything. The gap between the two is the measurement. On a nine-kernel FP16 GEMM basket, meaning pays: the architect beats a modeled H200 by 5.4% and its blind counterpart by 12.3% on average, with 70.1% fewer simulator calls. It does not pay uniquely: a critic loop recovers most of that gap for the blind agent and buys the architect nothing, so architectural knowledge and structured critique behave as substitutes rather than as complements. We report these as preliminary findings -- five to six runs per condition on a single modeled accelerator -- and take the comparison itself, not the accelerator, to be the contribution.
- Abstract(参考訳): エージェントはますますハードウェアの設計を依頼され、成功すると報告されている。
このような報告は、設計が改善したことを証明します。
加速器を改善するエージェントは、マシンについて推論しているかもしれないし、あるいは、回復しないという意味のノブを巧みに探しているかもしれない。
既存の評価では、固定された問題のフレーミングを保持しながらエージェントが異なるため、両者を区別することはできない。
私たちはその逆をする。
1つはシミュレータカウンタを持つアーキテクチャノブ、もう1つは[0,1]上の匿名変数、もう1つは評価器、法空間、到達可能なオプティマが同一である。
2つの間のギャップは測定値です。
9つのカーネルのFP16 GEMMバスケットでは、報酬が支払われる: 建築家はモデル化されたH200を5.4%、盲点を12.3%、シミュレーターコールを70.1%減らした。
批判ループは盲目のエージェントのギャップの大半を回復し、アーキテクトに何も買わないので、アーキテクチャ知識と構造的批判は補足者としてではなく代用者として振る舞う。
我々は、これらを予備的な発見として報告し(1つのモデル付き加速器で1条件あたり5から6回の走行)、比較自体を加速器ではなく、コントリビューションとみなす。
関連論文リスト
- Another Blueprint In The Wall: How to Ask Frontier AI Like a Kid? [0.16921396880325779]
本稿では,OpenAI, Anthropic, xAI, Google DeepMindの6つのフロンティアモデルに対して実験を行った。
モデルタイプ毎に10の独立したセッションが同じ3段階のプロンプトシーケンスを使用しており、アーキテクチャ上の好みから完全なASCIIバックボーンへと進化した。
ほとんどの車両はこの共通構造に近いままであり、少数の車両は工学的な特異性を大きく向上させた。
論文 参考訳(メタデータ) (2026-09-13T21:32:35Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳(メタデータ) (2026-08-21T20:06:08Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳(メタデータ) (2026-08-11T18:48:40Z) - Iterating Toward Better Search: A Two-Agent Simulation Framework for Evaluating Agentic Search Architectures in E-Commerce [5.346615622025758]
本稿では,対話型ショッピングアシスタントアーキテクチャを評価するためのモジュール型2エージェントシミュレーションフレームワークを提案する。
実験間でバイヤー定数を保持することで、同一のシナリオ上での応答設計の制御された比較が可能になる。
ローリングウィンドウメモリは、すべての品質指標において意図抽出メモリより優れ、クエリ毎に35%高速である。
論文 参考訳(メタデータ) (2026-06-11T05:27:42Z) - Physics Is All You Need? A Case Study in Physicist-Supervised AI Development of Scientific Software [0.304585143845864]
物理学者は、CLAX-PTを構築するために、12の作業日と57のセッションでAIコーディングエージェントを監督した。
エージェントは、託宣試験を繰り返すことで、自律的に10を解決した。
予防されたオラクル検出ができなかった3つは共通の性質を共有しており、症状の減少を根本原因の解決法として扱った。
論文 参考訳(メタデータ) (2026-05-28T17:59:59Z) - Agentic Architect: An Agentic AI Framework for Architecture Design Exploration and Optimization [43.08640443219529]
本稿では,コンピュータアーキテクチャ設計の探索と最適化のためのエージェントAIフレームワークであるエージェントアーキテクトを紹介する。
キャッシュ置換、データのプリフェッチ、分岐予測など、Agentic Architectは最先端の設計に適合するか、あるいは超えている。
Agentic Architectは、エージェントAIアーキテクチャの探索と最適化のための、最初のエンドツーエンドのオープンソースフレームワークである。
論文 参考訳(メタデータ) (2026-04-28T00:31:55Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳(メタデータ) (2026-04-05T17:55:23Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳(メタデータ) (2026-03-25T19:26:44Z) - Towards Efficient Agents: A Co-Design of Inference Architecture and System [66.59916327634639]
本稿では,エージェントアクセラレーションのための統合フレームワークであるAgentInferを提案する。
問題をAgentCollab、AgentSched、AgentSAM、AgentCompressの4つの相乗的コンポーネントに分解する。
BrowseComp-zhとDeepDiverベンチマークの実験では、これらの手法の相乗的コラボレーションを通じて、AgentInferは非効率なトークン消費を50%以上削減することを示した。
論文 参考訳(メタデータ) (2025-12-20T12:06:13Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳(メタデータ) (2025-10-13T22:22:28Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。