Fugu-MT 論文翻訳(概要): LatentMD: Benchmarking Markdown Boundary Failures in LLM-Generated Text

論文の概要: LatentMD: Benchmarking Markdown Boundary Failures in LLM-Generated Text

arxiv url: http://arxiv.org/abs/2609.06993v2
Date: Fri, 11 Sep 2026 15:23:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:04.526805
Title: LatentMD: Benchmarking Markdown Boundary Failures in LLM-Generated Text
Title（参考訳）: LatentMD: LLM生成テキストにおけるマークダウン境界のベンチマーク
Abstract要約: 我々は,大規模言語モデルにおけるCommonMarkレベルのフェンス境界障害のベンチマークおよび評価プロトコルであるLatentMDを紹介する。有効な主グリッド出力の38.0%は、内容が正しいが境界が壊れており、境界は特定されていないプロンプトで破壊されている。
参考スコア（独自算出の注目度）: 16.45709634574408
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) increasingly generate Markdown that is consumed by renderers, agents, code extractors, and structured downstream pipelines. Yet existing evaluations often conflate content quality with format adherence, leaving Markdown boundary failures under-measured. We introduce LatentMD, a benchmark and evaluation protocol for diagnosing CommonMark-level fence-boundary failures in LLM-generated Markdown. LatentMD separates content correctness from boundary correctness, enabling detection of outputs that are content-correct but boundary-broken. The benchmark contains 4,179 prompts and a CLI for scoring arbitrary model outputs. Across 9 LLMs and roughly 37,600 generations, we find that Markdown boundary failures are widespread: 38.0% of valid main-grid outputs are content-correct but boundary-broken, with substantial boundary breakage under unspecified prompts and in a small human-authored validation set. Ablations show that failures are driven primarily by same-family symmetric-delimiter collisions rather than nesting alone, are only partially mitigated by prompt hints, and generalize to Python triple-quote docstrings while JSON remains robust as an asymmetric-delimiter control. LatentMD provides a reproducible diagnostic target for parser-sensitive LLM evaluation.
Abstract（参考訳）: 大きな言語モデル(LLM)は、レンダラー、エージェント、コード抽出器、構造化下流パイプラインによって消費されるMarkdownを生成する。しかし、既存の評価では、しばしばコンテンツ品質をフォーマット順守と説明し、Markdown境界の失敗を過小評価している。 LLM生成MarkdownにおけるCommonMarkレベルのフェンス境界障害の診断のためのベンチマークおよび評価プロトコルであるLatentMDを紹介する。 LatentMDは、内容の正しさと境界の正しさを分離し、内容が正しいが境界が壊れた出力の検出を可能にする。ベンチマークには4,179のプロンプトと任意のモデル出力をスコアするCLIが含まれている。 9つのLLMと約37,600世代にわたって、マークダウン境界の故障は広範囲に及んでいる: 有効な主グリッド出力の38.0%は、内容が正しいが境界が壊れている。アブレーションは、障害はネスト単独ではなく、主に同族対称-有限子衝突によって駆動され、プロンプトヒントによって部分的に緩和され、Pythonのトリプルクォートドクストリングに一般化され、JSONは非対称-有限子制御として堅牢であることを示している。 LatentMDはパーサに敏感なLCM評価のための再現可能な診断ターゲットを提供する。

関連論文リスト

DenMark: Robust Semantic Watermarking for Diffusion Language Models [56.836684262732994]
DenMarkは拡散言語モデル(DLM)のセマンティックな透かしフレームワークである鍵依存的な信号をDLM復調プロセスに直接注入する。出力を固定トークン領域に分割し、一時ロールアウトをセマンティックルックヘッドとして使用する。検出のために、DenMarkは、セマンティックアタックによって導入されたバウンダリシフトに対する堅牢性を維持するために、候補ユニットサイズをキャリブレーションしたスキャンを使用する。
論文参考訳（メタデータ） (2026-09-13T03:37:48Z)
HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers [30.02579334273979]
GPTZeroは、NeurIPS 2025の受け入れられたセットの中で、幻覚的な引用を持つ53の論文を発見した。検証結果を比較し、詳細な故障診断を行うベンチマークは存在しない。幻覚ベンチマーク: 14のタイプにまたがる2,526のBibエントリ、3つの困難層、エントリ毎に6つの診断サブテスト。
論文参考訳（メタデータ） (2026-07-20T13:21:27Z)
TAG: A Lightweight Framework for Test-Driven Agentic Artifact Generation [0.30786914102688595]
基本原理に基づく軽量なフレームワーク:textit TAGM の生成を検証する。第一に、textbftest駆動生成: テストがフェールすると、LCMは出力が失敗した理由を明らかにする指示的エラーメッセージを受け取る。セキュリティドメインの3つのアーティファクトタイプ - KQL生成、TAGRE ATT&CKマッピング、エンティティマッピング – に関するフレームワークをデモして、Microsoft Sentinelで本番環境にデプロイします。
論文参考訳（メタデータ） (2026-07-01T17:28:56Z)
Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models [9.503036150359597]
本稿では, 応答可能な知識から回避可能な未知への遷移を測定するために, 汚染を意識したマルチゾーンベンチマークを提案する。 FLAN-T5, Qwen2.5-Instruct, Llama-3-Instruct モデルの評価を行った。
論文参考訳（メタデータ） (2026-04-30T05:46:01Z)
HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing [84.84959282480641]
テキスト評価において,LLM-as-a-judgeがすべてのサブフィーチャを集約する場合にしばしば発生する暗黙の矛盾を解決するために,Tree-of-Writing(ToW)を提案する。また、3つのタスクカテゴリにまたがる12のジャンルと1302の命令を含む大規模な中国語書記ベンチマークであるHowToBenchについても紹介する。
論文参考訳（メタデータ） (2026-04-21T04:26:39Z)
From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文参考訳（メタデータ） (2026-04-01T11:40:12Z)
Assertion-Aware Test Code Summarization with Large Language Models [0.0]
単体テストは、テスト意図を伝える簡潔な要約を欠くことが多い。本稿では,開発者による要約と組み合わせた実世界のJavaテストケース91のベンチマークを示す。
論文参考訳（メタデータ） (2025-11-09T04:58:32Z)
SAEMark: Multi-bit LLM Watermarking with Inference-Time Scaling [24.603169307967338]
SAEMarkはポストホックなマルチビット透かしのための一般的なフレームワークである。パーソナライズされたメッセージは、推論時間、フィーチャベースのリジェクションサンプリングによってのみ埋め込む。 SAEMarkの一貫性のある性能を示し、英語でのF1は99.7%、マルチビット検出精度は強い。
論文参考訳（メタデータ） (2025-08-11T17:33:18Z)
Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文参考訳（メタデータ） (2025-02-17T18:59:02Z)
MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
論文参考訳（メタデータ） (2024-12-19T18:58:04Z)
PostMark: A Robust Blackbox Watermark for Large Language Models [56.63560134428716]
モジュール式ポストホックウォーターマーキング手法であるPostMarkを開発した。 PostMarkはロジットアクセスを必要としないため、サードパーティによって実装することができる。 PostMarkは既存のウォーターマーキング手法よりも,攻撃を言い換える方が堅牢であることを示す。
論文参考訳（メタデータ） (2024-06-20T17:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。