論文の概要: Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation

• arxiv url: http://arxiv.org/abs/2603.03306v1
• Date: Sun, 08 Feb 2026 11:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.132518
• Title: Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation
• Title（参考訳）: Token-Oriented Object Notation vs JSON: プレーンおよび制約付きデコード生成のベンチマーク
• Authors: Ivan Matveev,
• Abstract要約: Token-Oriented Object Notation (TOON) は、構造化データを LLM に転送するためのシリアライズフォーマットとして、トークンの使用量を大幅に削減することを目的としている。 これをテストするために,構造的複雑性,検証,および平文生成と構造的出力の比較に関して,いくつかのテストケースを作成するベンチマークを行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently presented Token-Oriented Object Notation (TOON) aims to replace JSON as a serialization format for passing structured data to LLMs with significantly reduced token usage. While showing solid accuracy in LLM comprehension, there is a lack of tests against JSON generation. Though never present in training data, TOON syntax is simple enough to suggest one-shot in-context learning could support accurate generation. The inevitable prompt overhead can be an acceptable trade-off for shorter completions. To test this, we conducted a benchmark creating several test cases with regard to structural complexity, a validation pipeline, and comparing plain JSON generation vs structured output (via constrained decoding) JSON generation vs TOON one-shot in-context learning generation. JSON structured output was included to establish a minimum token budget baseline and to set a starting point for future experiments testing TOON constrained decoding inference enforcement. Key findings: TOON shows promising accuracy/token consumption ratio for in-domain generation tasks, though this advantage is often reduced by the "prompt tax" of instructional overhead in shorter contexts. Plain JSON generation shows the best one-shot and final accuracy, even compared with constrained decoding structured output, where the only significant advantage is the lowest token usage as a trade-off for slightly decreased accuracy overall and significant degradation for some models. Notably, for simple structures, this "lowest token usage" of constrained decoding outperformed even TOON, hinting that TOON enforcing via frameworks such as xgrammar may not yield the desired results. Furthermore, the results suggest a scaling hypothesis: TOON's true efficiency potential likely follows a non-linear curve, shining only beyond a specific point where cumulative syntax savings amortize the initial prompt overhead.
• Abstract（参考訳）: 最近発表されたToken-Oriented Object Notation (TOON)は、構造化データをLLMに渡すシリアライズフォーマットとしてJSONを置き換えることを目標としている。 LLMの理解において確固たる精度を示す一方で、JSON生成に対するテストの欠如がある。 トレーニングデータには存在しないが、TOON構文は、ワンショットのインコンテキスト学習が正確な生成をサポートすることを示唆するほど単純である。 避けられないプロンプトのオーバーヘッドは、短い完了に対して許容できるトレードオフになります。 これをテストするために、構造的複雑性、検証パイプライン、および通常のJSON生成と(制約付き復号化による)構造化された出力の比較と、TOONワンショットのインコンテキスト学習生成を比較して、いくつかのテストケースを作成するベンチマークを実行した。 JSON構造化された出力は、最小限のトークン予算ベースラインを確立し、TOON制約付きデコード推論の実行をテストする将来の実験の出発点を設定するために含まれた。 主な発見: TOONはドメイン内生成タスクの有望な精度/トーケン消費率を示すが、この利点は短いコンテキストでの指導オーバーヘッドの「急激な税」によって減少することが多い。 単純なJSON生成は、制約付きデコードされた構造化された出力と比較しても、最高のワンショットと最終的な精度を示している。 特に、単純な構造の場合、制約付きデコーディングの「最も低いトークン使用」はTOONよりも優れており、xgrammarのようなフレームワークを介してTOONを強制することは望まれる結果をもたらすものではないことを示唆している。 TOONの真の効率ポテンシャルは非線形曲線に従う可能性があり、累積構文が初期プロンプトオーバーヘッドを償却する特定の点を越えてのみ輝く。

関連論文リスト

• TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
  TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-17T10:38:56Z)
• FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution [3.4666771782038652]
  大規模言語モデル(LLM)は、その恒星の性能の大部分を入力コンテキストの拡大に負っているが、そのような冗長性は金銭的コスト、炭素フットプリント、推論時間の遅延を膨らませている。 本稿では,LLMのための新しいプロンプト圧縮フレームワークであるFrugalPromptを紹介する。 我々は,4つのNLPタスク(感性分析,コモンセンスQA,要約,数学的推論)にまたがるアプローチを評価する。
  論文  参考訳（メタデータ） (2025-10-18T10:22:13Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Learning to Generate Structured Output with Schema Reinforcement Learning [83.09230124049667]
  本研究では,大規模言語モデル(LLM)の構造的生成能力について検討する。 最新のLLMはまだ有効な文字列を生成するのに苦労している。 我々のモデルでは、出力と下流の両方のタスクが大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-26T06:45:29Z)
• Predicting Through Generation: Why Generation Is Better for Prediction [10.098410272203301]
  本稿では,トークンレベルの生成が相互情報を保持するため,予測タスクにプール表現を使用するよりも,出力トークンの生成の方が効果的であると主張している。 PredGenは、(i)露光バイアスを減らすためにスケジュールサンプリングを使用するエンド・ツー・エンドのフレームワークで、(ii)生成されたトークンを構造化された出力に変換するタスクアダプタを導入します。 以上の結果から,PredGenは標準ベースラインを一貫して上回り,構造化予測タスクの有効性を示した。
  論文  参考訳（メタデータ） (2025-02-25T03:48:19Z)
• Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction [2.3020018305241337]
  我々の研究は、よりコンパクトで正確で一貫した明示的な文法の学習を促進し、より良い解釈可能性を促進する。 教師なし解析ベンチマークテストでは,過度に単純化された解析に対するバイアスを低減しつつ,性能を著しく改善する。
  論文  参考訳（メタデータ） (2024-07-23T04:57:03Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。