論文の概要: Parsed, Plausible, Wrong: Output Format Controls Silent Errors in Small-Model Semantic Parsing
- arxiv url: http://arxiv.org/abs/2611.17169v1
- Date: Thu, 12 Nov 2026 17:43:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.574945
- Title: Parsed, Plausible, Wrong: Output Format Controls Silent Errors in Small-Model Semantic Parsing
- Title(参考訳): パース, 可塑性, 誤り: 小モデルセマンティックパーシングにおけるサイレントエラーの出力フォーマット制御
- Abstract要約: 同じターゲット木の6つのエンコーディングにLoRAを用いて2つのサブビリオンモデルを微調整する。
ワードエンコーディングはどちらのモデルでも最も正確なフォーマットである。
すべてのランは、オフメニュー入力を拒否し、発話内自己補正を適用することも学べる。
- 参考スコア(独自算出の注目度): 0.20614518038365645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A small fine-tuned parser that emits a well-formed but wrong tree fails silently: nothing downstream can tell. We ask whether the output format, a free design choice, controls how often this happens. On the PIZZA ordering benchmark we fine-tune two sub-billion models (Qwen3.5-0.8B and LFM2.5-350M) with LoRA on six lossless encodings of the same target tree, from 44.3 down to 10.9 tokens per order, including two matched-length pairs that vary surface form at fixed length. Across 300 runs (5 training pool sizes, 5 seeds) with a hierarchical bootstrap and Holm correction fixed before the results were read, shortening alone never helps, but writing the target in ordinary words does. The word encoding is the most accurate format on both models (87.5% vs. 85.8% exact match for the native s-expression on Qwen) while emitting 4.1x fewer tokens, and it cuts the silent error rate by 2.3x on Qwen and 1.8x on LFM2, separating at every pool size. Error analysis locates much of the gain in negation. All runs also learn to refuse off-menu input (held out: 95.9-99.0% handled) and to apply in-utterance self-corrections. Strict refusal has a measured price: 2.1-10.1% of real, mostly polite, orders are refused.
- Abstract(参考訳): うまく形成されているが間違った木を放出する小さな微調整パーサーは静かに失敗する。
自由な設計選択である出力フォーマットが、この頻度を制御するかどうかを問う。
PIZAオーダリングベンチマークでは、2つのサブビリオンモデル(Qwen3.5-0.8B と LFM2.5-350M)と LoRA を同じターゲットツリーの6つのロスレスエンコーディング(44.3 から 10.9 トークン)に微調整しました。
300ランを超えるラン(5つのトレーニングプールサイズ、5つのシード)は、階層的なブートストラップとホルムの修正によって結果が読まれる前に修正され、短縮だけでは役に立たないが、通常の言葉でターゲットを書くことはできる。
ワードエンコーディングは両モデルの最も正確なフォーマット(Qwenのネイティブs-expressionと87.5%対85.8%)であり、4.1倍のトークンを出力し、Qwenでは2.3倍、LFM2では1.8倍、サイレントエラーレートは各プールサイズで分離される。
誤り分析は否定の利益のほとんどを突き止める。
すべてのランはオフメニュー入力(95.9-99.0%処理)を拒否し、発話内自己補正を適用することを学ぶ。
厳格な拒絶は、実数の2.1-10.1%、大半は礼儀正しく、命令は拒否される。
関連論文リスト
- Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation [0.0]
我々はPOPEベンチマークで幻覚軽減効果を再現する。
LLaVA-1.5-7Bのベースラインは1.21から8.67ポイントであり、比較する予定の敵のベースラインより上であった。
論文 参考訳(メタデータ) (2026-10-19T07:58:14Z) - Repairing LLM-Generated Specifications with Deterministic Diagnosis [48.79311600023815]
大型言語モデル (LLM) はフォーミュラライザとしてますます使われている。
LLMは、シンボリック・ソルバが解決できる形式的な仕様を作成し、その仕様に対して保証する。
多くの仕様は実行可能であるが、意味的に間違っている。誤った制約、ドメイン、目的、述語、目標を符号化する。
DRAGOは、この未解決の批判を決定論的、フォーマリズム固有の診断に置き換える修復フレームワークである。
論文 参考訳(メタデータ) (2026-10-15T19:12:54Z) - SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳(メタデータ) (2026-09-18T01:16:53Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Output Format x Model Identity: Interaction Effects in Single-Round Coding Agent Performance [4.342406076796542]
3つのモデル(DeepSeek V4, Doubao 2.0, Qwen 3.7 Max)で制御実験を行う。
エージェントが過剰なスコープで実行する、フォーマット誤用という、明確な障害メカニズムを特定します。
本稿では, モデル固有の戦略, ツールデザインの原則を提案し, エージェント自身のステップに形式的セマンティクスを制約する。
論文 参考訳(メタデータ) (2026-07-23T10:18:42Z) - CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。
我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文 参考訳(メタデータ) (2026-06-23T02:56:48Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳(メタデータ) (2026-05-08T06:15:50Z) - The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It [0.0]
大規模言語モデルは、たとえカウントすべきアイテムがプロンプトに明示的に存在しているとしても、単純なカウントタスクで失敗することが多い。
この失敗は、変換器が内部的にカウントを表現しないためなのか、あるいはそれらの表現を正しい出力トークンに変換することができないためなのかを考察する。
線形プローブは、中間層からほぼ完全な精度で正しいカウントを復元する。
論文 参考訳(メタデータ) (2026-05-05T01:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。