論文の概要: EMRB: A Multi-Level Benchmark for Evaluating LLM Reasoning over Raw Electromagnetic Signals

• arxiv url: http://arxiv.org/abs/2608.24086v1
• Date: Tue, 25 Aug 2026 05:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.820626
• Title: EMRB: A Multi-Level Benchmark for Evaluating LLM Reasoning over Raw Electromagnetic Signals
• Title（参考訳）: EMRB:ロー電磁信号を用いたLLM共振評価のためのマルチレベルベンチマーク
• Abstract要約: 大規模言語モデル (LLM) は、科学的・工学的な分析のためのコードエージェントとしてますます使われているが、生の物理層の測定能力は検証されていない。 textbfEMRB (textbfElectrotextbfmagnetic textbfReasoning textbfBenchmark) は、LLMがコードを書き、実行することで生のI/Qデータを分析できるかどうかを評価する。
• 参考スコア（独自算出の注目度）: 18.190592357966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as code agents for scientific and engineering analysis, but their ability to analyze raw physical-layer measurements remains untested. We introduce \textbf{EMRB} (\textbf{E}lectro\textbf{m}agnetic \textbf{R}easoning \textbf{B}enchmark), which evaluates whether LLMs can analyze raw I/Q data by writing and running code. EMRB contains 200 problems across five difficulty levels and 27 question types, from signal detection to OFDM design, generated from 11 signal types with verified ground truth. Unlike benchmarks built on preprocessed features or structured tables, EMRB provides only the raw capture; the quantities each question refers to must first be discovered through code. We evaluate 14 LLMs spanning proprietary, open-weight, and reasoning-oriented families. Scores range from 24.1\% to 78.9\%, with the mean dropping from 84.9\% on basic measurement to 21.2\% on system design. We also propose \textbf{ReconPilot}, a structured method that separates signal reconnaissance, targeted analysis, and self-verification. Across three backbones, ReconPilot raises the overall score by 3.8 to 17.6 points and improves 13 of 15 backbone-level combinations tested. All data and code are publicly released in \href{https://github.com/mingxuZhang2/EMRB}{\textcolor{blue}{our GitHub repository}}.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、科学的・工学的な分析のためのコードエージェントとしてますます使われているが、生の物理層の測定能力は検証されていない。 本稿では, LLMが生のI/Qデータをコードを書き, 実行することで分析できるかどうかを評価する。 EMRBには5つの困難レベルに200の問題があり、信号検出からOFDM設計まで27の質問タイプがある。 事前処理された機能や構造化テーブル上に構築されたベンチマークとは異なり、EMRBは生のキャプチャのみを提供する。 プロプライエタリ、オープンウェイト、推論指向のファミリーにまたがる14のLLMを評価した。 スコアは24.1\%から78.9\%まで変化し、基本的な測定では84.9\%から21.2\%まで低下した。 また、信号偵察、ターゲット分析、自己検証を分離する構造的手法である「textbf{ReconPilot}」を提案する。 3つのバックボーン全体で、ReconPilotは総合スコアを3.8から17.6ポイント引き上げ、テストされた15のバックボーンレベルの組み合わせのうち13を改善している。 すべてのデータとコードは、 \href{https://github.com/mingxuZhang2/EMRB}{\textcolor{blue}{our GitHubリポジトリで公開されている。

関連論文リスト

• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• HierSVA: A Data Synthesis Pipeline, Dataset, and Benchmark for LLM-Driven Hierarchical Hardware Formal Verification [10.931713427869598]
  正式な検証のためにパイプライン、データセット、ベンチマークを組み合わせた統合スイートであるHierSVAを紹介します。 HierSVA-SPは、LLM-in-the-loop形式検証フローとRTL前処理ツールチェーンをペアリングして、階層的なRTL上でSystemVerilog Assertions (SVA)を生成する。 BaseJump STLに適用すると、階層メタデータと深さ0-9を持つ342モジュールのデータセットであるHierSVA-DSが生成される。
  論文  参考訳（メタデータ） (2026-06-09T22:41:44Z)
• From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
  セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。 人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。 ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
  論文  参考訳（メタデータ） (2026-06-03T14:26:25Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• Auto-ART: Structured Literature Synthesis and Automated Adversarial Robustness Testing [0.0]
  我々は7つの補完プロトコルを用いて9つのピアレビューコーパスソースを分析した。 特定ギャップを運用するオープンソースのフレームワークであるAuto-ARTを紹介します。 RobustBenchの実証検証では、Auto-ARTの事前スクリーニングでは、フラグ付きケースの92%で勾配マスキングが特定されている。
  論文  参考訳（メタデータ） (2026-04-22T15:46:11Z)
• HIVE: Query, Hypothesize, Verify An LLM Framework for Multimodal Reasoning-Intensive Retrieval [5.5504253907902275]
  マルチモーダル検索モデルは、画像が関連する文書を特定するためにテキストと深く統合されなければならない推論集約的なクエリーで失敗する。 textbfHIVE (textbfHypothesis-driven textbfVisual textbfEvidence Retrieval) は,LLMを介してレトリバーに明示的な視覚的テキスト推論を注入するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2026-04-08T15:41:42Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering [32.10503220086596]
  Retrieval-Augmented Generation (RAG) システムは文書前処理の品質に大きく依存する。 従来の研究では、下流の質問応答精度への影響でPDF処理フレームワークの評価は行われていない。 オープンソースのPDF-to-Markdown変換フレームワークであるDocling、MinerU、Marker、DeepSeek OCRを19のパイプライン構成で比較する。
  論文  参考訳（メタデータ） (2026-03-30T14:40:58Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• Cross-modal Retrieval Models for Stripped Binary Analysis [62.89251403093734]
  BinSeekは、取り除かれたバイナリコード分析のための最初の2段階のクロスモーダル検索フレームワークである。 BinSeekEmbeddingは、バイナリコードのセマンティックな関連性を学ぶために、大規模なデータセットでトレーニングされている。 BinSeek-Rerankerは、コンテキスト拡張による記述に対する候補コードの関連性を慎重に判断することを学ぶ。
  論文  参考訳（メタデータ） (2025-12-11T07:58:10Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• VAR-MATH: Probing True Mathematical Reasoning in LLMS via Symbolic Multi-Instance Benchmarks [29.3214384382719]
  近年の強化学習の進歩により,LLMの数学的推論能力は大幅に向上した。 これらの利得は、ランダムや逆の報酬のような欠陥のある信号で訓練されたモデルであっても、しばしば持続する。 このような改善は真の推論を反映しているのか、それとも単にベンチマーク固有のパターンに過度に適合した成果物なのか? 固定数値問題をパラメータ化テンプレートに変換するシンボル評価フレームワークであるVAR-MATHを提案する。
  論文  参考訳（メタデータ） (2025-07-17T08:10:55Z)
• LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
  自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。 125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。 これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-03-04T15:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。