論文の概要: SA-Bench: Evaluating Semantic Alignment in LLM-Based Paper Reproduction
- arxiv url: http://arxiv.org/abs/2608.24252v1
- Date: Tue, 25 Aug 2026 08:48:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.889861
- Title: SA-Bench: Evaluating Semantic Alignment in LLM-Based Paper Reproduction
- Title（参考訳）: SA-Bench: LLMによる製紙におけるセマンティックアライメントの評価
- Abstract要約: LLMエージェントは再生コードを生成することができるが、科学的に不誠実な実装をしばしば生成する。
我々は、この障害モードをセマンティックドリフトと定義し、生成されたコードは紙の仕様から静かに分岐する。
ICLR、ICML、NeurIPS 2025の30論文をカバーする診断ベンチマークであるSemanticAlign-Benchを紹介した。
- 参考スコア（独自算出の注目度）: 12.71956248550879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents can generate paper reproduction code, yet often produce scientifically unfaithful implementations. We define this failure mode as semantic drift, where generated code silently diverges from the paper's specifications. We introduce SemanticAlign-Bench(SA-Bench), a diagnostic benchmark covering 30 papers from ICLR, ICML and NeurIPS 2025. For each paper, we decompose its specifications into atomic and verifiable implementation claims, which we call Semantic Alignment Units (SAUs) and evaluate repositories along four diagnostic dimensions spanning numerical, methodological, protocol and ordering drift. In total, we construct 1,491 SAUs across five ML domains and evaluate 12 generator configurations (4 models $\times$ 3 scaffolds). Even the strongest configuration (Claude+PaperCoder) achieves a mean SAU score of only 0.301 out of 1.0, with an overall mean of 0.221 across 360 evaluations. A failure taxonomy reveals that agents attempt most requirements but implement them incorrectly, with implementation mismatch and stubs accounting for the majority of zero-scored claims. Our analysis further indicates that scaffolds optimized for executability provide limited leverage for scientific reproduction; narrowing the gap requires scaffolds that prioritize semantic specification verification. The benchmark, annotations and evaluation pipeline are publicly available.
- Abstract（参考訳）: LLMエージェントは紙再生コードを生成することができるが、科学的に不誠実な実装をしばしば生成する。
我々は、この障害モードをセマンティックドリフトと定義し、生成されたコードは紙の仕様から静かに分岐する。
我々は、ICLR、ICML、NeurIPS 2025の30論文をカバーする診断ベンチマークであるSemanticAlign-Bench(SA-Bench)を紹介する。
各論文では、仕様を原子的かつ検証可能な実装クレームに分解し、セマンティックアライメント・ユニット(SAU)と呼び、数値、方法論、プロトコル、ドリフトの4つの診断次元に沿ってリポジトリを評価する。
合計で5つのMLドメインに1,491のSAUを構築し、12のジェネレータ構成を評価する(4モデル$\times$3足場)。
最も強い構成(Claude+PaperCoder)でさえ、平均SAUスコアは1.0のうち0.301で、360度評価の平均は0.221である。
フェール分類は、エージェントがほとんどの要求を試みているが、誤ってそれを実装していることを明らかにし、実装ミスマッチとスタブがゼロスコアのクレームの大部分を占めている。
我々の分析は、実行可能性に最適化された足場が科学的再現に限られたレバレッジをもたらすことを示唆している。
ベンチマーク、アノテーション、評価パイプラインが公開されている。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳（メタデータ） (2026-08-15T13:19:25Z) - Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents [7.397429318828859]
大規模言語モデル(LLM)は、複雑なプロフェッショナルタスクをますますサポートしているが、ルール集約型文書レビューにおけるそれらの能力は、十分に評価されていない。
既存のベンチマークはドメイン知識と質問応答に重点を置いており、プロのドキュメントの品質レビューをほとんど見落としている。
GB/T-Benchは,全国標準文書の構造化レビューのための最初のベンチマークである。
論文 参考訳（メタデータ） (2026-08-06T17:27:23Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Humanizing Automatically Generated Unit Test Suites with LLM-Based Refactoring [18.727291516223115]
EvoSuiteのような検索ベースのテスト生成ツールは、コンパイル可能で高カバレッジのユニットテストを大規模に生成するが、それらのスイートは読み書きが難しいことが多い。
コンパイル可能なSBSTスイート上でLLMを制御層として使用するハイブリッドSBST+LLMアプローチであるTestHumanizerを導入し、命名、構造、開発者指向の明確性を改善する。
TestHumanizerのコンパイル率は88～98%に達し、EvoSuiteの100%ベースラインに近い。
論文 参考訳（メタデータ） (2026-06-26T16:18:56Z) - Refusal Evaluation in Coding LLMs and Code Agents: A Systematic Review of Thirteen Malicious-Code Prompt Corpora (2023-2025) [0.0]
既存の調査では、コードセキュリティ、ジェイルブレイク分類、または脆弱性検出を中心的な対象として扱い、パス時にのみこれらのコーパスに言及している。
本稿では,素早いデータセットを解析単位として扱う。
合成は3つの連続する方法論的ギャップを表面化する。
論文 参考訳（メタデータ） (2026-05-19T18:05:51Z) - Cross-Dialect Generalization Without Retraining: Benchmarks and Evaluation of Schema-Derived Constrained Decoding for MLIR [0.0]
MLIR(Multi-Level Intermediate Representation)は、現代的なMLコンパイラインフラストラクチャ(TensorFlow、JAX/StableHLO、PyTorchインダクタ、IREE)の基盤となる。
MLIRはまた、アプリケーションドメインごとに新しい方言が出荷されるので、方言ごとに微調整されたモデルがスケールしない。
3つの方言にまたがる4つの自然言語-MLIRベンチマークをリリースする。
論文 参考訳（メタデータ） (2026-05-14T02:08:13Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。
我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
論文 参考訳（メタデータ） (2026-02-18T18:09:03Z) - SciReplicate-Bench: Benchmarking LLMs in Agent-driven Algorithmic Reproduction from Research Papers [16.80818230868491]
本研究では,最近のNLP論文におけるアルゴリズム記述からコードを生成する際の言語モデル (LLM) を評価する。
厳密な評価を容易にするため、2024年に発行された36のNLP論文から100のタスクのベンチマークであるSciReplicate-Benchを紹介する。
SciReplicate-Bench上に構築されたSci-Reproducerは,論文からアルゴリズムの概念を解釈するPaper Agentと,リポジトリから依存関係を検索してソリューションを実装するCode Agentで構成された,デュアルエージェントフレームワークである。
論文 参考訳（メタデータ） (2025-03-31T22:02:24Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。