論文の概要: The Format Tax

• arxiv url: http://arxiv.org/abs/2604.03616v1
• Date: Sat, 04 Apr 2026 07:16:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.675792
• Title: The Format Tax
• Title（参考訳）: 偽税
• Abstract要約: 構造化された出力要求は、オープンウェイトモデル間での推論と書き込み性能を著しく低下させる。 この診断は単純な原則であり、形式から推論を分離するものである。 最近のクローズドウェイトモデルは形式税をほとんど示していないが、この問題は構造化された生成に固有のものではなく、現在のオープンウェイトモデルがまだ解決していないギャップを示唆している。
• 参考スコア（独自算出の注目度）: 30.128781228264216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Asking a large language model to respond in JSON should be a formatting choice, not a capability tax. Yet we find that structured output requirements -- JSON, XML, LaTeX, Markdown -- substantially degrade reasoning and writing performance across open-weight models. The research response has focused on constrained decoding, but sampling bias accounts for only a fraction of the degradation. The dominant cost enters at the prompt: format-requesting instructions alone cause most of the accuracy loss, before any decoder constraint is applied. This diagnosis points to a simple principle: decouple reasoning from formatting. Whether by generating freeform first and reformatting in a second pass, or by enabling extended thinking within a single generation, separating the two concerns substantially recovers lost accuracy. Across six open-weight models, four API models, four formats, and tasks spanning math, science, logic, and writing, decoupling recovers most lost accuracy. Notably, most recent closed-weight models show little to no format tax, suggesting the problem is not inherent to structured generation but a gap that current open-weight models have yet to close. Code is available at https://github.com/ivnle/the-format-tax.
• Abstract（参考訳）: JSONで応答する大きな言語モデルを求めることは、機能税ではなく、フォーマットの選択であるべきです。 しかし、構造化された出力要求 -- JSON、XML、LaTeX、Markdown -- は、オープンウェイトモデル全体での推論と書き込みのパフォーマンスを著しく低下させています。 研究の反応は制約付き復号に焦点が当てられているが、サンプリングバイアスは劣化のごく一部に過ぎなかった。 フォーマット要求命令だけで、デコーダの制約が適用される前に、ほとんどの精度が失われます。 この診断は、単純な原則、つまり、フォーマッティングから推論を分離することを指す。 フリーフォームを第1に生成し、第2のパスで再設定するか、あるいは1世代以内に拡張思考を有効にすることにより、この2つの関心を分離することで、紛失した精度を著しく回復する。 6つのオープンウェイトモデル、4つのAPIモデル、4つのフォーマット、4つのタスク、数学、科学、ロジック、書き込みの合計で、デカップリングは最も失われた精度を回復する。 特に、最近のクローズドウェイトモデルでは、形式税がほとんど、あるいは全くなく、この問題は構造化された生成に固有のものではなく、現在のオープンウェイトモデルがまだクローズしていないギャップであることを示唆している。 コードはhttps://github.com/ivnle/the-format-tax.comで入手できる。

関連論文リスト

• Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
  2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。 実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。 実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
  論文  参考訳（メタデータ） (2026-07-21T16:31:35Z)
• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• Capacity, Not Format: Rethinking Structured Reasoning Failures [0.0]
  それまでの作業では、構造化された生産物は推論税として扱われていたが、このフレーミングは不完全である。 情報マッチングされた散文制御と4段階のスキーマ勾配を用いて,プロンプト長のコンファウンドからフォーマット固有の効果を分離する。 構造化フォーマットはキャパシティに依存している。
  論文  参考訳（メタデータ） (2026-06-08T12:26:54Z)
• Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation [0.0]
  大規模な言語モデルは、トレーニングされたデータから社会的バイアスを拾い上げ、下流のアプリケーションにバイアスを運ぶ。 本稿では,デコーディング時にモデルをデバイアス化し,モデルの重みに触れることなく,候補トークンに対するバイアス緩和を構造化された探索として扱う。 我々は、高度化のための3つのスキーム(Best-of-N selection, Sequential critique-and-Revise, Constitutional self-audit)を設計し、4つのモデルで評価する。
  論文  参考訳（メタデータ） (2026-05-04T08:51:34Z)
• Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation [0.0]
  Token-Oriented Object Notation (TOON) は、構造化データを LLM に転送するためのシリアライズフォーマットとして、トークンの使用量を大幅に削減することを目的としている。 これをテストするために,構造的複雑性,検証,および平文生成と構造的出力の比較に関して,いくつかのテストケースを作成するベンチマークを行った。
  論文  参考訳（メタデータ） (2026-02-08T11:58:03Z)
• Breaking the Myth: Can Small Models Infer Postconditions Too? [15.725275719200303]
  小型の微調整言語モデルにより,計算コストを大幅に削減して高品質な後条件生成を実現することができることを示す。 われわれのアプローチは、実世界のリポジトリの依存関係に取り組み、プレステート情報を保存し、表現的で正確な仕様を作成できる。
  論文  参考訳（メタデータ） (2025-07-14T11:44:04Z)
• Format-Adapter: Improving Reasoning Capability of LLMs by Adapting Suitable Format [93.99600697438079]
  以前の研究では、複数の推論フォーマットが複数の回答を生成する場合、単一のフォーマットより優れていることが示されている。 与えられたタスクに適切なフォーマットを適応させ、フォーマットを生成して選択する。 Format-Adapterは,従来の作業よりも平均4.3%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-06-29T08:11:52Z)
• Studying and Recommending Information Highlighting in Stack Overflow Answers [47.98908661334215]
  Stack Overflowの回答は31,169,429件でした。 推薦モデルのトレーニングには、CNNベースのモデルとBERTベースのモデルを選択します。 我々のモデルは、異なるフォーマットで0.50から0.72の精度を達成する。
  論文  参考訳（メタデータ） (2024-01-03T00:13:52Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• A Conditional Cascade Model for Relational Triple Extraction [0.9926500244448218]
  タグベースの手法は三重抽出における主要な手法の1つである。 ほとんどが階級不均衡の問題に悩まされている。 この問題に対処する新しいタグ付けモデルを提案する。
  論文  参考訳（メタデータ） (2021-08-20T03:00:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。