論文の概要: 2d-fet-bench: from spatial reasoning to fet design on flakes
- arxiv url: http://arxiv.org/abs/2610.07423v1
- Date: Mon, 05 Oct 2026 21:30:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.679515
- Title: 2d-fet-bench: from spatial reasoning to fet design on flakes
- Title(参考訳): 2d-fet-bench:空間的推論からフレーク上のフェットデザインへ
- Abstract要約: 2D-FET-Bench V2は、顕微鏡由来のフレーク輪郭から構築された128のレイアウトタスクのベンチマークである。
6モデルパネルの最高性能構成であるGPT5.6-Luna with ReAct-3は62.3%の試行をパスし、少なくとも80.5%のタスクを一度に解決している。
- 参考スコア(独自算出の注目度): 8.431824117876365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Field-effect transistor (FET) layouts on exfoliated two-dimensional flakes are typically drawn by hand for each flake, placing contacts and gates to match its position and outline in optical micrographs. To our knowledge, no executable benchmark tests whether language-model agents can perform this flake-specific construction reliably. We introduce 2D-FET-Bench V2, a benchmark of 128 layout tasks built from microscopy-derived flake contours, including hole-containing flakes and multi-flake tasks. Each task supplies a textual device specification and contour coordinates. An agent generates typed polygon and path operations rendered to GDSII. A deterministic verifier checks geometric and structural requirements, and a separate integrity check verifies that the supplied contours remain unchanged. Scripted reference layouts pass all 128 tasks, showing that every task is solvable. We evaluate six models and seven workflow and scaffold variants of GPT5.6-Luna, with five attempts per task. The best-performing configuration in the six-model panel, GPT5.6-Luna with ReAct-3, passes 62.3% of attempts and solves 80.5% of tasks at least once (coverage) and 43.8% in all five attempts (consistency). ReAct-3 exceeds the one-pass Plan-and-Execute by 27.0 pass@1 points at 2.46 times the tokens. An expert audit of one sampled verifier-passing layout per covered task, across five ReAct-3 configurations, accepts 56.4% to 63.5% of them. The benchmark evaluates geometric and structural FET layout construction.
- Abstract(参考訳): 剥離した2次元フレーク上の電界効果トランジスタ(FET)のレイアウトは、通常、各フレークに対して手で描画され、その位置に合わせて接点とゲートを配置し、光学顕微鏡で概説する。
我々の知る限り、言語モデルエージェントがこのフレーク固有の構成を確実に実行できるかどうかのベンチマークテストは行いません。
2D-FET-Bench V2は、顕微鏡由来のフレーク輪郭から構築された128のレイアウトタスクのベンチマークであり、ホールを含むフレークやマルチフレークタスクを含む。
各タスクはテキストデバイス仕様と輪郭座標を提供する。
エージェントは、タイプされたポリゴンとGDSIIにレンダリングされたパス操作を生成する。
決定論的検証器は、幾何学的および構造的要件をチェックし、別個の整合性チェックは、供給された輪郭が変わらないことを検証する。
スクリプト化された参照レイアウトは、すべての128タスクをパスし、すべてのタスクが解決可能であることを示す。
GPT5.6-Lunaの6つのモデルと7つのワークフローと足場を,タスク毎に5つの試行で評価した。
6モデルパネルの最高性能設定であるGPT5.6-Luna with ReAct-3は62.3%の試行をパスし、少なくとも1回(カバー)で80.5%、全5回(一貫性)で43.8%のタスクを解決している。
ReAct-3は1パスのPlan-and-Executeを27.0pass@1ポイント超え、トークンの2.46倍である。
5つのReAct-3構成にまたがる、カバータスク毎の1つのサンプル検証済みパスレイアウトの専門監査では、56.4%から63.5%が受け入れられている。
このベンチマークは、幾何学的および構造的FETレイアウト構築を評価する。
関連論文リスト
- Scaling Verifiable Environments for Long-horizon Work Agents [56.79816389667267]
検証可能なワークエージェント環境を構築するためのスケーラブルな合成フレームワークであるWorkForgeを紹介する。
WorkForgeはまず、各ワークフローに必要なリソース、決定、成果物を特定する。
その後、関連する現実世界のファイルを取得し、それらをワークスペースに整理する。
WorkForgeはワークスペースを調べて、そのコンテンツに関する具体的な、チェック可能な事実を抽出する。
論文 参考訳(メタデータ) (2026-10-04T03:36:14Z) - Self-Supervised Scaling of Terminal Environments for Scientific Domains [43.17162353852083]
ターミナルエージェントは、科学やその他の専門分野のソフトウェア工学を超えた展開が増えている。
本稿では,既存のソフトウェアケースから参照出力と検証対象を取得するセルフアウトプット・フレームワークであるSoftware-in-the-loopについて紹介する。
SWRを6つのドメインで500から46のソフトウェアファミリでインスタンス化する。
Qwen3.8-Maxはタスク毎に3回の試行を行い、838のタスクを解決し、1,422の検証軌道を生成します。
論文 参考訳(メタデータ) (2026-10-02T02:44:46Z) - CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
論文 参考訳(メタデータ) (2026-09-27T17:59:31Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳(メタデータ) (2026-09-23T08:51:01Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳(メタデータ) (2026-09-17T01:24:51Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳(メタデータ) (2026-08-11T18:48:40Z) - EMAS: Stabilizing Multi-Agent System Evolution through Evidence-Guided Revision [49.07453709918038]
EMAS (Evolving Multi-Agent System) を導入し, LLMパラメータを更新せずにMASトポロジとプロンプトを更新する。
4つのベンチマークと2つのLSMで、EMASは両方のバックボーンに対してタスク重み付き全体の精度が最も高い。
EMASは新しいサンプルからMASトポロジとプロンプトの更新を再利用できる。
論文 参考訳(メタデータ) (2026-08-07T13:11:42Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
3つの評価次元を持つベンチマークスイートを導入する。
本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
論文 参考訳(メタデータ) (2026-05-19T12:12:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。