論文の概要: TeXFix-Bench: An Empirically Grounded Multi-Format Benchmark for LLM-Based Document Source Repair
- arxiv url: http://arxiv.org/abs/2608.07617v1
- Date: Fri, 07 Aug 2026 05:56:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.458075
- Title: TeXFix-Bench: An Empirically Grounded Multi-Format Benchmark for LLM-Based Document Source Repair
- Title（参考訳）: TeXFix-Bench: LLMベースのドキュメントソース修復のための経験的基盤付きマルチフォームベンチマーク
- Abstract要約: 既存の文書修復評価は、実証的な欠陥モデルに欠けるアドホックな編集で欠陥を注入する。
We present Fix-Bench, a benchmark for LLM-based full-source document repaired under a mined fault。
3モデルのクロスベンチマークは、DocMutの欠陥は同じ種子のパターンベースの突然変異よりも5.6-9.2 ppの修復が難しいことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific and technical writing depends on markup sources that must compile: LaTeX, Typst, and Markdown pipelines fail on missing delimiters, mismatched environments, broken imports, or package conflicts. Existing document-repair evaluations inject faults with ad-hoc edits that lack an empirical fault model. We present TeXFix-Bench, a multi-format benchmark for LLM-based full-source document repair grounded in a mined fault taxonomy. A Grounded-Theory study of localized hard-crash LaTeX faults from TeX Stack Exchange, GitHub commits, and package documentation (168 verified faults, dual open coding at $κ$=0.34) yields an 18-category taxonomy instantiated as DocMut: 48 AST-aware operators across three formats. A three-model cross-benchmark shows DocMut faults are 5.6-9.2 pp harder to repair than pattern-based mutations on the same seeds, and a real-error case study (88 mined human crashes, 67.0% repair success) brackets both synthetic sets from below. We construct 10,437 instances from 743 openly licensed seeds and evaluate seven LLMs under a fixed zero-shot protocol with provider-pinned routing, collecting 48,651 attempts at about USD 200 total inference cost. A complete 6,613-instance x 7-model balanced matrix confirms all rankings. A pinned engine gate yields a 27.5-point intention-to-treat compile spread (56.7-84.2%). Typst is markedly harder than LaTeX and Markdown. A restoration oracle over 28,129 compiling repairs shows that 13.6-18.5% of compiling repairs materially alter document text, and restoration rank diverges from compile rank: the model with the lowest compile rate restores content best among its successes. Compile success alone overstates repair quality. We release the taxonomy, DocMut, and all campaign artifacts.
- Abstract（参考訳）: LaTeX、Typst、Markdownパイプラインは、欠落したデリミタ、ミスマッチした環境、壊れたインポート、パッケージのコンフリクトで失敗する。
既存の文書修復評価は、実証的な欠陥モデルに欠けるアドホックな編集で欠陥を注入する。
本稿では,LLMに基づく全ソース文書修復のためのマルチフォーマットベンチマークであるTeXFix-Benchについて紹介する。
TeX Stack ExchangeのローカライズされたハードクラッシュLaTeX障害、GitHubコミット、パッケージドキュメンテーション(168の検証済みフォールト、κ$=0.34のデュアルオープンコーディング)に関するグラウンデッド・セオリーの研究により、3つのフォーマットにわたる48のAST対応オペレーターがDocMutとしてインスタンス化された18のカテゴリに分類される。
3モデルのクロスベンチマークでは、DocMutの欠陥は同じ種子のパターンベースの突然変異よりも5.6-9.2 ppの修復が困難であることが示されており、実際のエラーケーススタディ(88件の人体衝突、67.0%の修復成功)は、どちらも以下の合成セットをブラケットしている。
我々は、743のオープンライセンスシードから10,437のインスタンスを構築し、プロバイダピンのルーティングによる固定ゼロショットプロトコルの下で7つのLSMを評価し、約USD 200の推測コストに対して48,651の試行を収集した。
完全な6,613-instance x 7-model balanced matrixは、すべてのランキングを確認する。
ピン付きエンジンゲートは27.5ポイントのコンパイル展開(56.7-84.2%)が得られる。
TypstはLaTeXやMarkdownよりもかなり難しい。
28,129点以上の修復用オラクルは、補修修理の13.6～18.5%が文書テキストを実質的に変更し、復元ランクがコンパイルランクから逸脱していることを示している。
補修の成功だけでは、修理の質が過大評価される。
私たちは、分類学、DocMut、およびすべてのキャンペーンアーティファクトをリリースします。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Code as Representation: A Compilable Parsing Paradigm for Academic Documents [50.40789738182074]
Compilable Academic Document Parsing (CADP)は、コンテキストラプラス実行可能なPythonとして全ページを再構築するパラダイムである。
テキストと複数のSAEタイプを含む全学術ページのエキスパート検証ベンチマークであるCADP-Benchを紹介する。
その結果、フロンティアモデルでさえも、高忠実度で実行可能な再構築を行うのに苦戦していることがわかった。
論文 参考訳（メタデータ） (2026-08-18T09:10:43Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - UXBench: Measuring the Actionability of LLM-Generated UX Critiques [58.14408744110387]
対話型UX判断器として大規模言語モデル(LLM)を評価するベンチマークであるUXBenchを紹介する。
UXBenchは10の製品表面のファミリーにまたがる、ローカルファーストで実行可能なウェブフィクスチャで構成されており、カバーゲートのルーリック探索と組み合わせている。
8つのフロンティアモデルについて,自動修理作業プロトコルと視覚障害者による検証実験の両方で評価した。
論文 参考訳（メタデータ） (2026-06-15T06:08:39Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳（メタデータ） (2026-05-13T18:01:05Z) - DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。
我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
論文 参考訳（メタデータ） (2026-05-12T18:09:38Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Constraint-Guided Multi-Agent Decompilation for Executable Binary Recovery [47.704311990064554]
脱コンパイルは、セキュリティ分析、マルウェアのリバースエンジニアリング、レガシーソフトウェアメンテナンスに不可欠である。
マルチレベル制約誘導型デコンパイル(MCGD)により,デコンパイルされたコードを再実行可能なソースに変換するマルチエージェントフレームワークを提案する。
本フレームワークは,84～97%の再実行性を実現し,28～89ポイントのベースラインデコンパイラ出力を改善した。
論文 参考訳（メタデータ） (2026-04-27T01:28:11Z) - BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。
3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。
全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
論文 参考訳（メタデータ） (2026-04-03T16:30:58Z) - PAGENT: Learning to Patch Software Engineering Agents [7.1252881436899544]
本報告では,7つのLLMコードエージェントが生成したパッチの欠陥について,実証的研究を行った。
パッチにまたがる障害原因の分類を提示する。
このような型関連エラーに対処する第一歩として,我々はPAGENT(パッチエージェント)を設計した。
論文 参考訳（メタデータ） (2025-06-21T18:00:00Z) - Enhancing repository-level software repair via repository-aware knowledge graphs [13.747293341707563]
リポジトリレベルのソフトウェア修復は、問題記述とコードパッチの間のセマンティックギャップを埋める際の課題に直面します。
既存のアプローチは、大きな言語モデル(LLM)に依存しており、意味的曖昧さ、構造的文脈の限られた理解、推論能力の不足によって妨げられている。
本稿では,リポジトリアーティファクト(課題とプル要求)とエンティティ(ファイル,クラス,関数)を正確にリンクする新しいリポジトリ対応知識グラフ(KG)を提案する。
KGをマイニングした経路を利用する経路誘導補修機構により,説明とともに文脈情報を拡張することができる。
論文 参考訳（メタデータ） (2025-03-27T17:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。