論文の概要: SyntaxBench: A Statistical Diagnostic Framework for Character-Level Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2610.03329v1
- Date: Fri, 02 Oct 2026 14:02:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.408983
- Title: SyntaxBench: A Statistical Diagnostic Framework for Character-Level Reasoning in Large Language Models
- Title（参考訳）: SyntaxBench:大規模言語モデルにおける文字レベル推論のための統計的診断フレームワーク
- Abstract要約: キャラクタレベルの推論のための診断ベンチマークと統計的評価フレームワークであるSyntaxBenchを紹介する。
文字カウント、文字封じ込め、パリンドローム検出、編集距離、最長文字列選択の5つのコアタスクを含む。
我々は,11の推論モード構成に対して,2Bから32Bパラメータの8つのオープンウェイトモデルを評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used where small syntactic errors matter, yet character-level reasoning is still evaluated mostly through isolated probes and aggregate accuracy. We introduce SyntaxBench, a diagnostic benchmark and statistical evaluation framework for character-level reasoning. It contains five core tasks, character counting, letter containment, palindrome detection, edit distance, and longest-string selection, plus index_to_span, a harder substring-extraction stress test. The five core tasks use paired English and character-length-matched random-string inputs. index_to_span documents share a 200-500 word band and are not character-length matched. All six tasks use zero-, one-, and four-shot prompts. We evaluate eight open-weight models from 2B to 32B parameters across 11 reasoning-mode configurations. The framework reports exact-match and relaxed accuracy, Cohen's kappa, paired McNemar tests with odds ratios, bootstrap confidence intervals, Kendall's tau, class-conditional metrics, tokenization analysis, and multiple-comparison-corrected tests. Three findings stand out. First, tokenization shapes accuracy: random strings are more character-visible than English strings (1.892 vs. 3.169 characters per token), and character-counting accuracy falls as English words occupy more tokens. Second, reasoning mode is not uniformly helpful: Gemma4-31B is nearly unchanged across modes on the near-saturated tasks, while Qwen3.6-27B is worse with thinking on palindrome detection (0.952 non-thinking vs. 0.886 thinking at four-shot). Third, index_to_span remains largely unsolved; the best four-shot exact-match accuracy is 6.75%. Character-level evaluation needs controlled inputs, paired tests, and analyses of tokenization and reasoning mode rather than aggregate accuracy alone.
- Abstract（参考訳）: 大規模な言語モデルでは、小さな構文的誤りが問題となる場合が増えているが、文字レベルの推論は、主に独立したプローブと集約精度によって評価されている。
キャラクタレベルの推論のための診断ベンチマークと統計的評価フレームワークであるSyntaxBenchを紹介する。
文字カウント、文字封じ込め、パリンドローム検出、編集距離、最長ストリング選択の5つのコアタスクに加えて、より難しいサブストリング抽出ストレステストであるindex_to_spanが含まれている。
5つのコアタスクは、ペア英語と文字長のランダムストリング入力を使用する。
index_to_spanドキュメントは200-500ワードバンドを共有し、文字長が一致しない。
6つのタスクはすべてゼロ、ワンショット、および4ショットプロンプトを使用する。
我々は,11の推論モード構成に対して,2Bから32Bパラメータの8つのオープンウェイトモデルを評価した。
このフレームワークは正確なマッチングと緩和された精度、コーエンのカッパ、オッズ比、ブートストラップの信頼区間、ケンドールのタウ、クラス条件メトリクス、トークン化分析、多重比較補正テストなどを報告している。
3つの発見がある。
第一に、トークン化の精度: ランダム文字列は英語の文字列よりも文字可視であり(トークン当たり1.892対3.169文字)、英語の単語がより多くのトークンを占有するにつれて文字カウントの精度が低下する。
第2に、推論モードは一様に役に立たない: Gemma4-31Bは近飽和タスクのモードでほとんど変化しないが、Qwen3.6-27Bはパラリンドローム検出について考えると悪化する(0.952 対 4 対 0.886 対 0.886 対 0.952)。
第3に、dex_to_spanは未解決のままであり、最高の4ショットの精度は6.75%である。
文字レベルの評価には、制御された入力、ペアテスト、トークン化と推論モードの分析が必要である。
関連論文リスト
- IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks [0.8699677835130409]
ランレベルのパスレートは、リトライフリーのカバレッジを最大17.8ポイント上回っている。
本稿では,実行レベルの精度,再試行自由度,確率ごとの変動率を指標とした繰り返し実行評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-05-30T23:03:05Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - The Truncation Blind Spot: How Decoding Strategies Systematically Exclude Human-Like Token Choices [3.322376966347217]
8つの言語モデルで180万以上のテキストを分析します。
人間の選択したトークンの8-18%が、典型的なトランケーション境界外にあることがわかった。
論文 参考訳（メタデータ） (2026-03-19T04:36:22Z) - TimeStampEval: A Simple LLM Eval and a Little Fuzzy Matching Trick to Improve Search Accuracy [0.0]
TimeStampEvalは、非バーバティムな引用を与えられた長い書き起こしから正確にミリ秒のタイムスタンプを取得するためのベンチマークである。
簡単な2段階法では,推論コストを90%以上削減しながら,検索精度を劇的に向上させる。
モチベーションのユースケースは、議会記録のクリップをAIがホストする動詞のナレーションにまとめる、自動化されたロングフォームポッドキャストである。
論文 参考訳（メタデータ） (2025-10-27T21:54:56Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - From Language Models over Tokens to Language Models over Characters [54.123846188068384]
現代の言語モデルは、$itcharacter$ stringsではなく$ittoken$ strings上の内部的、数学的に...分布である。
本稿では,トークンレベル言語モデルから文字レベル言語への変換アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-04T21:19:20Z) - Look at the Text: Instruction-Tuned Language Models are More Robust Multiple Choice Selectors than You Think [27.595110330513567]
テキスト回答は、最初のトークン確率よりも、摂動に疑問を呈するほど堅牢であることを示す。
本研究は,第1トークン確率評価よりもテキスト応答評価が有効であることを示す。
論文 参考訳（メタデータ） (2024-04-12T10:36:15Z) - Self-Consistency Improves Chain of Thought Reasoning in Language Models [53.45015291520658]
我々は,大規模言語モデルの推論精度を大幅に向上させる,単純なアンサンブル戦略,自己整合性を探究する。
算術的および常識的推論ベンチマークでは、自己整合性は大幅な精度の向上をもたらす。
論文 参考訳（メタデータ） (2022-03-21T17:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。