論文の概要: The Decomposition Tax: LLM Pipelines Lose Up to 40 Accuracy Points at Their Own Interfaces
- arxiv url: http://arxiv.org/abs/2609.32825v1
- Date: Sat, 26 Sep 2026 17:49:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 19:56:33.075091
- Title: The Decomposition Tax: LLM Pipelines Lose Up to 40 Accuracy Points at Their Own Interfaces
- Title（参考訳）: 解体税:LLMパイプラインは最大40個の正確なポイントを自身のインターフェースで失う
- Abstract要約: 4段階のLSMパイプラインは、自身のインターフェースで最大40.5の精度ポイントを付与する。
モデル、問題、ステージ、ステージプロンプト、完成予算を定めています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A four-stage LLM pipeline gives up as much as 40.5 accuracy points at its own interfaces (gemma-3-12B on MATH-500, Holm-corrected p = 1.66e-19; the largest tax in the primary family). We hold model, problem, stages, stage prompts and completion budget fixed, vary only whether each stage can still see the original problem, and call the accuracy difference the decomposition tax. Across 21 open-weight models from nine organisations, on GSM-Hard and MATH-500 at n = 200 paired items per cell, 70 of 118 primary-family tests survive Benjamini-Hochberg correction and 54 survive Holm. On GSM-Hard, a placebo recovers nothing: it carries at least 60% of the extra tokens and at most one word of the problem. Builders design a pipeline one stage at a time, and its bill arrives at the interfaces between stages. Rewriting one stage's instruction moves gemma-3-12B's tax from 4.5 to 36.5 points, and adding "every relationship stated between them" to a stage that lists the numerical quantities lowers the tax on 9 of 9 models on MATH-500. Re-grounding, which shows a stage the original problem again, belongs after the loss. With one lossy interface, re-grounding the stage after it beats re-grounding the stage before it on 7 of 7 models on both benchmarks; on MATH-500 the earlier repair is worse than none on 7 of 7. Newer models still pay: gemma-4-12B gives up 37.0 points, and the repair holds on all three of the newest models we test. A sealed held-out test refuted a stronger rule we registered, which predicted the paying stage from the interface and receiver types, so we locate the tax by measuring one stage at a time. The prescription has two parts: re-ground the stage after the lossy interface, and if a stage must list the quantities, tell it to keep the relationships.
- Abstract（参考訳）: 4段のLLMパイプラインは、自身のインターフェース(MATH-500のgemma-3-12B、ホルム補正されたp = 1.66e-19、プライマリファミリー最大の税)で最大40.5の精度ポイントを付与する。
我々は、モデル、問題、ステージ、ステージプロンプト、完成予算を定め、各ステージが元の問題を見ることができるかどうかのみを定め、分解税の精度差を訴える。
GSM-Hard と MATH-500 の9つの組織からの21のオープンウェイトモデルにおいて、n = 200 個のペアアイテムをセルごとに使用し、118 のプライマリファミリーテストのうち70 はBenjamini-Hochberg の修正に成功し、54 はホルムの生存である。
GSM-Hardでは、プラセボは何も回復しない: 余分なトークンの少なくとも60%と、問題の少なくとも1つの単語を運べる。
ビルダーはパイプラインを1段階ずつ設計し、その請求書はステージ間のインターフェースに届く。
1段目を書き換えると、gemma-3-12Bの税は4.5点から36.5点に変化し、MATH-500の9モデルのうち9モデルの税を減税する。
元の問題を再びステージに示す再接地は、損失の後に行われる。
両方のベンチマークで7モデル中7モデルでステージを再び座った後、ステージを再び座った。MATH-500では、初期の修理は7モデル中7モデルよりも悪い。
gemma-4-12Bは37.0ポイントを獲得し、修理は我々がテストした最新の3モデル全てに当てはまる。
封印された保留試験は、私たちが登録した強力なルールを反証し、インターフェースと受信者タイプから支払い段階を予測した。
処方薬には2つの部分がある: 欠落したインターフェイスの後、ステージを再びグラウンドし、もしステージが量をリストアップしなければならないなら、関係を維持するように指示する。
関連論文リスト
- Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - DreamingGoose: Staged Distillation from Autoregressive Transformers to Bidirectional Recurrent Diffusion Language Models [41.99844472131922]
我々はQwen3の教師を1.7Bと8Bで3段階に分けて、注意なし、双方向、ゲート・デルタ・ルール拡散学習者に変換する。
言語モデリングは部分的および非分配のみを転送する。
検索を学習するすべてのモデルは、検索エピソードに現れないトークンに対して0.000のスコアを獲得します。
論文 参考訳（メタデータ） (2026-09-28T03:57:11Z) - Re-derivability Decides What a Staged Agent Pipeline Recovers After an Upstream Fault [0.0]
1つの変数は、上流の障害が言語モデルエージェントのステージ化されたパイプラインにかかるものを設定する。
Llama-3.1-8Bでは、この断層はいかなる線量でも検出可能なコストがかからないため、他の3つには断層のコストに関するすべての主張がある。
論文 参考訳（メタデータ） (2026-09-26T17:23:48Z) - Quantization Thresholds Replicate, Failure Modes Do Not: A Three-Model Study of Agentic Tool Use in Polish from 8-bit to 2-bit [0.0]
PolAgentBenchはポーランドのプロンプトと英語のツールスキーマを用いた決定論的ベンチマークである。
ビエリク-11B-v3.0とその熟成された蒸留子ビエリク-ミニトロン-7B-v3.0はモデル圧縮を分離する。
論文 参考訳（メタデータ） (2026-09-25T22:13:11Z) - Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training [0.0]
OpenWebTextのスクラッチから124Mパラメータで32 GPT-2モデルをトレーニングします。
256-rowバッチの1行を194-tokenパスを持つ固定コンテキストインジェクションに置き換える。
論文 参考訳（メタデータ） (2026-08-19T17:46:08Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - LARGO: Low-Rank Hypernetwork for Handling Missing Modalities [41.99844472131922]
LARGOは,2N-1ドルの専用モダリティモデルを1つのネットワークに圧縮するハイパーネットワークである。
我々の手法は52構成のうち47位にランクインし、最先端のベースラインよりも平均的な+0.68$%$と+2.53$%$を達成している。
avMNISTにおける概念実証実験は、ARGOが医療画像を超えて異種非医学的モダリティにまで拡張する可能性を示唆している。
論文 参考訳（メタデータ） (2026-05-07T12:07:55Z) - How Many Tries Does It Take? Iterative Self-Repair in LLM Code Generation Across Model Scales and Benchmarks [0.0]
7つの大言語モデルにわたる反復的自己修復について検討する。
HumanEvalとMBPPは最大5回の試行で衛生化され、自己修復はパスレートを普遍的に改善する。
エラータイプの分析では、アサーションエラーは45%で修正するのが最も難しいが、構文や名前のエラーはかなり高い速度で修正される。
論文 参考訳（メタデータ） (2026-04-12T07:51:41Z) - Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs [0.0]
我々は,3桁の一般化がまだ失敗している理由を問うため,全2桁の加算で訓練した最小限のGPTについて検討した。
我々は,算術 OOD の故障をレイアウト,キャリー・セマンティックス,再構成,ラテンテン・残留段階に分解する実験的な方法を提案する。
論文 参考訳（メタデータ） (2026-03-27T03:40:27Z) - Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。
デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。
われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
論文 参考訳（メタデータ） (2025-05-16T12:11:40Z) - Just read twice: closing the recall gap for recurrent language models [41.94430033985774]
情報リコールの硬さは,集合不整合性と呼ばれる問題の硬さに還元されることを示す。
本稿では,JRT-Promptを提案する。
また、プロセスプロンプトに非因果プレフィックス-線形アテンションを使用し、99%のトランスフォーマー品質を提供するJRT-RNNを提案する。
論文 参考訳（メタデータ） (2024-07-07T19:55:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。