論文の概要: Capability-Stratified Degradation in Ternary Language Models

• arxiv url: http://arxiv.org/abs/2608.28809v1
• Date: Fri, 28 Aug 2026 19:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.754943
• Title: Capability-Stratified Degradation in Ternary Language Models
• Title（参考訳）: 第三言語モデルにおける可読化劣化
• Abstract要約: 第三次言語モデルは重量を$-1,0,+1$に制限し、$log 3 approx 1.585$ bits/weightに近づいた。 量子化対応トレーニング(QAT)の72.4Mトークンを用いて、Qwen3.5-0.8B(752Mパラメータ)を3次重みに変換する。 結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extreme low-bit inference offers a route toward smaller models and constrained deployment. Ternary language models restrict weights to $\{-1,0,+1\}$, approaching the limit of $\log_2 3 \approx 1.585$ bits/weight. The practical question for a pretrained model is not simply whether weights can be quantised but which capabilities survive and whether it remains useful for adaptation. We explore this by converting Qwen3.5-0.8B (752M parameters) to ternary weights using 72.4M tokens of quantisation-aware training (QAT). The resulting model, Cloe, is evaluated across 29 benchmarks, representation diagnostics, and downstream fine-tuning. The evidence shows non-uniform degradation. A linear probe recovers 43.76% of MMLU answers from the full-precision teacher's representations but only 26.19% from Cloe (near chance), indicating specialist factual information is lost. However, Cloe retains measurable performance on ten tasks, averaging 77.1% of teacher performance. Crucially, fine-tuning raises Cloe to 89.8% on SST-2 (95.6% of the matched teacher) and reaches 79.4% teacher retention on XSum. We attribute degradation to a combination of quantisation-induced information loss and incomplete recovery due to the limited QAT budget. We also highlight an evaluation pitfall: standard answer-letter scoring failed (Cloe emitted "A" on 98.6% of MMLU questions), necessitating continuation scoring. Ultimately, ternary conversion is unsuitable as a drop-in general replacement yet remains valuable as a compact substrate for task-specific models.
• Abstract（参考訳）: 極低ビット推論は、より小さなモデルと制約付きデプロイメントへのルートを提供する。 第三次言語モデルは重量を$\{-1,0,+1\}$に制限し、$\log_2 3 \approx 1.585$ bits/weightの制限に近づく。 事前訓練されたモデルの現実的な問題は、重みを定量化できるかどうかではなく、どの能力が生き残るか、そしてそれが適応に有用であるかどうかである。 本研究では,Qwen3.5-0.8B(752Mパラメータ)を72.4Mトークンの量子化対応トレーニング(QAT)を用いて3次重みに変換することにより,これを探索する。 結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。 その証拠は、一様でない劣化を示している。 線形プローブは、MMLUの回答の43.76%をフル精度の教師の表現から回収するが、クローから26.19%しか得られず、専門的な事実情報が失われている。 しかし、クローは10のタスクで測定可能なパフォーマンスを維持しており、教師のパフォーマンスの平均は77.1%である。 重要な点として、微調整はSST-2で89.8%まで上昇し、XSumでは79.4%の教師が保持している。 我々は,QAT予算の制限により,量子化による情報損失と不完全回復の組合せによる劣化が原因と考えられる。 標準回答レタースコアの失敗(MMLU質問の98.6%でAを出力)、継続スコアの必要。 究極的には、3次変換はドロップインの汎用置換として適さないが、タスク固有モデルのコンパクト基板としての価値は残る。

関連論文リスト

• Safe Error Correction for Language Models: Frozen-Base Adjustment with Capability Preservation [0.0]
  凍結した言語モデルの上に,軽量なロジットレベルの補正モジュールを提案する。 CRN v2は53.3%のベースモデルのエラーを補正するが、テストされた性能ベンチマークの劣化は示さない。 テストした代替設定は、ランク128ロジット結果を超えなかった。
  論文  参考訳（メタデータ） (2026-09-14T18:00:15Z)
• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model [0.0]
  Qwen3-0.6B-Baseの28層のうち21層をKDA(Kimi Delta Attention)に変換する。 手術後、隠れた状態のアライメントと終末のKL蒸留により、生徒は難易度で教師に近づきます。 コード、ウェイト、レシピ、完全な監査パスをリリースし、エンジニアリングのレッスンを蒸留します。
  論文  参考訳（メタデータ） (2026-08-03T08:54:18Z)
• Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition [0.0]
  We build a Chain-of-Thought training corpus through a dual-agent framework。 このデータセットは、Apple Siliconハードウェア上でLow-Rank Adaptation (LoRA)を使用して、学生モデルを微調整するために使用される。
  論文  参考訳（メタデータ） (2026-06-30T02:34:45Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Less Is More: Cognitive Load and the Single-Prompt Ceiling in LLM Mathematical Reasoning [0.0]
  SAIR Equational Theories Stage 1のコンペティションの文脈において,形式的数学的推論のためのプロンプトエンジニアリングについて検討する。 このタスクは、すべてのマグマに対して1つの方程式法則が別の法則を意味するかどうかを決定する必要がある。 5週間にわたって、40以上のプロンプトバリアントを設計、テスト、分析しました。
  論文  参考訳（メタデータ） (2026-04-20T22:55:23Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• LLaMa-SciQ: An Educational Chatbot for Answering Science MCQ [0.0]
  大規模言語モデル(LLM)は、数学的な推論を必要とするタスク、特に多重選択質問(MCQ)にしばしば苦労する。 我々は,STEM分野におけるMCQの解決と理解を支援するLLaMa-SciQを開発した。 数学的推論では、LLaMa-SciQはGSM8kデータセットで74.5%、MATHデータセットで30%の精度を達成した。
  論文  参考訳（メタデータ） (2024-09-25T09:41:46Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。