論文の概要: Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
- arxiv url: http://arxiv.org/abs/2608.04160v1
- Date: Tue, 04 Aug 2026 19:18:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.600831
- Title: Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap
- Title(参考訳): マインド・ザ・キャップ:多言語推論のギャップを計測するアウトプット・バッジ・レジーム
- Abstract要約: 我々はQwen3-8BとLlama-3.1-8B-Instructのトークン・バッジ・アーティファクトであるかどうかを検証した。
我々は、スイープの3つのQwenピークとほぼゼロの値を1024で凍結し、54万デコードで評価した。
- 参考スコア(独自算出の注目度): 2.8890052855500143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual evaluations report accuracy at a single output-token cap, but languages need different numbers of tokens to express the same content, so the cap is a hidden experimental variable. We test whether the native-vs-translate gap on MGSM (German, Thai, Swahili) is a token-budget artifact for Qwen3-8B and Llama-3.1-8B-Instruct under four prompting strategies. The measured gap swings by up to 57 points across budgets, length normalization moves it by up to 38.9 points where the cap binds, and at tight caps normalization can reverse which strategy scores higher. We prospectively froze the sweep's three Qwen peaks and its near-zero value at 1024 and evaluated them on 540,000 independently hard-capped decodes: a second frozen family of six Holm-corrected tests rejects every null. The frozen test at $B^*=1024$ still fails to reject because native accuracy has already saturated there; above saturation, the residual difference is a strategy-performance gap, not an identified reasoning deficit. The same truncation channel prices a cost-ordered adaptation ladder: a cross-fitted Thai vocabulary extension closes 0.0 points of the gap at the frozen budget and 4.9 points where 19% of traces still truncate. A third frozen family varies only the announced budget at a fixed enforced cap; announcing 128 rather than 2048 tokens moves Thai native accuracy by 5.1 points, so accuracy is not a function of the enforced cap alone. A correct-emission timing identity computed from one long-cap run matches the three pre-specified MGSM peaks to 0.65 points and, in an exploratory Qwen-only analysis of three further benchmarks, tracks held-out items to 0.92 points, locating the peak exactly in five of seven cells. Treat the output cap as an independent variable and report accuracy across the budget regime, not at a single budget.
- Abstract(参考訳): 多言語評価では、1つの出力トーケンキャップで精度を報告するが、同じコンテンツを表現するために異なる数のトークンを必要とするため、キャップは隠れた実験変数である。
MGSM(ドイツ語、タイ語、スワヒリ語)のネイティブvs翻訳ギャップが、Qwen3-8BとLlama-3.1-8B-Instructのトークン予算であるかどうかを4つのプロンプト戦略で検証する。
測定されたギャップは予算全体で57ポイントまで変動し、長さ正規化はキャップが結合する38.9ポイントまで移動し、密なキャップ正規化ではどの戦略スコアを高くするかを逆転することができる。
我々は、スイープの3つのQwenピークとほぼゼロの値を1024で凍結し、それを54,000個の独立したハードキャップデコードで評価する:6つのホルム補正テストからなる2番目の凍結されたファミリーは、すべてのnullを拒否する。
B^*=1024$の凍結試験は、土着の精度が既に飽和しているため、まだ拒否できない。
クロスフィッティングのタイ語の語彙拡張は、凍結した予算でのギャップの0.0ポイントを閉じ、トレースの19%がまだ途切れている4.9ポイントを閉じている。
第3の凍結された家族は、固定された強制されたキャップで発表された予算だけを変えるため、2048トークンではなく128トークンがタイ原住民の精度を5.1ポイント移動させるので、強制されたキャップのみの機能ではない。
1つのロングキャップランから計算された正しい終了タイミングは、3つの事前指定されたMGSMピークを0.65ポイントに、さらに3つのベンチマークの探索的なQwenのみの分析では、アイテムを0.92ポイントまで追跡し、ピークを正確に7つのセルのうち5つに配置する。
出力上限を独立した変数として扱い、単一の予算ではなく、予算体制全体にわたって正確性を報告します。
関連論文リスト
- Does Fault Localization Beat a Fresh Attempt? A Placebo-Controlled Study of Test-Guided Code Repair [0.0]
フォールトローカライゼーションは、失敗したテストが意味するステートメントにコードモデルの修復に集中することができるが、ターゲットの編集が成功するのは、それが小さいためだけである。
我々はこれらの説明を3つの腕で分け、同じ失敗候補に当てはめます。
3つのフリーズ26-32Bモデル、3つのベンチマーク、488の候補が失敗し、3つの結果が続いた。
論文 参考訳(メタデータ) (2026-09-01T07:48:51Z) - Where Cognition Lives: Dissecting Emergent from Computed Function in a Minimal Complete Cognitive Architecture [0.0]
適応停止, ホメオスタティック制御フィールド, 値モジュールを備えたリカレント推論器を構築する。
停止も出現し、前もって決定できるものよりも価値が高いように見えるが、その外観は計り知れない。
PonderNetスタイルの停止は、隠された状態の停止重み付き混合を返し、強制深度ベースラインは1を返す。
論文 参考訳(メタデータ) (2026-08-23T10:27:13Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳(メタデータ) (2026-07-30T16:41:40Z) - Beyond Accuracy: Auditing Spatial Provenance in Visual Token Pruning for OCR-Critical MLLM Inference [22.335515110971475]
ビジュアルトーケンプルーニングは、一定保持予算における応答品質によって判断される。
私たちはこの盲点を、幾何学的トークン・オリジンの証明によってカップルが行動に答えるエビデンスリスク監査にします。
目的検証ポイントがタスク汎用圧縮を含まないことを示す。
論文 参考訳(メタデータ) (2026-07-29T13:45:31Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳(メタデータ) (2026-07-20T22:40:36Z) - Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。
3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。
精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
論文 参考訳(メタデータ) (2026-07-10T21:55:05Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳(メタデータ) (2026-06-02T06:51:15Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳(メタデータ) (2026-05-09T06:48:00Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳(メタデータ) (2026-05-08T06:15:50Z) - Brief Is Better: Non-Monotonic Chain-of-Thought Budget Effects in Function-Calling Language Agents [0.25891009512378166]
思考の連鎖 (CoT) 推論は, エージェント性能を向上させることが広く想定されている。
機能呼び出しエージェントに対するCOT予算効果の系統的研究を行った。
我々の中心的な発見は、Qwen2.5-1.5B-Instruct: brief reasoning (32 tokens) における顕著な非単調パターンである。
論文 参考訳(メタデータ) (2026-04-02T15:25:13Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳(メタデータ) (2025-11-12T23:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。