論文の概要: Can We Make an LLM Dumber, or Is It Just Playing Dumb? An Empirical Study of Believable Performance Throttling
- arxiv url: http://arxiv.org/abs/2611.15568v1
- Date: Wed, 11 Nov 2026 14:53:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.17271
- Title: Can We Make an LLM Dumber, or Is It Just Playing Dumb? An Empirical Study of Believable Performance Throttling
- Title(参考訳): LLMのダンバーを作れるか? それとも単にダンプを弾くだけなのか?
- Abstract要約: 我々は,ターゲットキャリブレーション,アイテム拡散構造,および実際の弱い参照に対する誤差分布類似性という3つの軸に沿って,実行可能な性能低下を運用する。
CapLadderは、数学、コード、複数選択推論、ツール使用にまたがる1,985項目をIRTで校正したスイートである。
- 参考スコア(独自算出の注目度): 10.045662399356042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A benchmark score is commonly read as a proxy for model capability. We study the inverse problem: can a model be driven to a target score, and do its failures resemble those of a naturally weaker model? We operationalize believable performance reduction along three axes: target calibration, item-difficulty structure, and error-distribution similarity to a real weak reference. We introduce CapLadder, an IRT-calibrated suite of 1,985 items spanning mathematics, code, multiple-choice reasoning, and tool use. A simple weak-teacher LoRA dial reaches unseen target levels on reasoning with a 1.9-point held-out calibration error, whereas prompting, temperature, and weight noise cannot combine comparable range and precision. Yet on multiple choice, the dial converges to an answer-token attractor: up to 97% of its newly introduced errors land on one letter, with the attractor changing from D in Qwen to A in Llama. Logit interventions identify a dominant near-constant shift: subtracting the estimated shift on held-out items recovers 52 to 59% of lost accuracy and removes the dominant attractor, while option permutation confirms that the bias tracks token position rather than option content. With high inter-annotator agreement ($κ=0.94$), human-coded error-category distributions nonetheless match the weak reference on reasoning (JS = 0.00), showing that local plausibility and aggregate detectability differ. Structured tool calls exhibit more natural degradation in the Qwen family (JS = 0.09), while a globally calibrated dial transfers poorly across benchmarks (14.2-point error on two usable benchmarks). Precise score control, therefore, does not imply a portable or believable reduction in skill.
- Abstract(参考訳): ベンチマークスコアはモデル機能のプロキシとして一般的に読まれる。
モデルは目標スコアまで駆動可能で、その失敗は自然に弱いモデルのものと似ているか?
我々は,ターゲットキャリブレーション,アイテム拡散構造,および実際の弱い参照に対する誤差分布類似性という3つの軸に沿って,実行可能な性能低下を運用する。
CapLadderは、数学、コード、複数選択推論、ツール使用にまたがる1,985項目をIRTで校正したスイートである。
単純な弱い教師のLoRAダイヤルは1.9ポイントのキャリブレーション誤差で目標レベルに達するが、プロンプト、温度、重量ノイズは同等の範囲と精度を組み合わせられない。
新たに導入されたエラーの97%が1文字に到達し、アトラクションはQwenのDからLlamaのAに変更されている。
保持アイテムに対する推定シフトを減じると、52~59%の精度が回復し、上位の引き金を取り除き、オプション順応により、バイアスはオプションの内容ではなくトークンの位置を追跡する。
ハイアノテータ契約(κ=0.94$)では、人間の符号付きエラーカテゴリ分布は推論の弱い基準(JS = 0.00)と一致し、局所的妥当性と集合的検出性が異なることを示す。
構造化ツールコールはQwenファミリー(JS = 0.09)でより自然な劣化を示すが、ベンチマーク間ではグローバルに校正されたダイヤル転送が不十分である(2つの利用可能なベンチマークでは14.2ポイントエラー)。
したがって、正確なスコアコントロールは、移植性や信頼性の高いスキルの低下を意味するものではない。
関連論文リスト
- Measured or Real? When Model-Derived Measurements Can Be Corrected or Compared [1.322809310467892]
ノイズは相関を縮小し、教科書の補正は2つの推定された信頼度の平方根によって分割される。
相関関係と信頼度が別個の種を用いる場合であっても,平均二乗誤差は無限であることを示す。
私たちのルールは、両方の信頼度が重要なテストに合格した場合にのみ修正され、その後、上位の信頼境界によって分割される。
論文 参考訳(メタデータ) (2026-10-27T22:12:59Z) - Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。
隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。
以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
論文 参考訳(メタデータ) (2026-08-31T16:43:55Z) - When Accuracy Gaps Fail to Certify: Auditing Cross-Domain Recalibration of LLM Judges [1.0742675209112622]
我々は、ソース・ターゲットの精度ギャップが予測できることと、13の裁判官、2のジェネレータ、8のドメイン、1,176の事前宣言された転送を認証できることをテストする。
有限サンプルの同時低い証明書は、集団を一方の拒絶規則に変換する。
論文 参考訳(メタデータ) (2026-08-23T06:51:40Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。
Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。
この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
論文 参考訳(メタデータ) (2025-10-07T14:46:12Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳(メタデータ) (2025-04-07T02:42:07Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳(メタデータ) (2023-06-19T18:48:15Z) - Is the Performance of My Deep Network Too Good to Be True? A Direct
Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。
我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。
我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文 参考訳(メタデータ) (2022-02-01T13:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。