論文の概要: Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

• arxiv url: http://arxiv.org/abs/2608.02689v1
• Date: Mon, 03 Aug 2026 08:54:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.897921
• Title: Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model
• Title（参考訳）: A」について:0.6B言語モデルの注意-KDA線形化におけるインタフェース損傷の診断と修復
• Abstract要約: Qwen3-0.6B-Baseの28層のうち21層をKDA(Kimi Delta Attention)に変換する。 手術後、隠れた状態のアライメントと終末のKL蒸留により、生徒は難易度で教師に近づきます。 コード、ウェイト、レシピ、完全な監査パスをリリースし、エンジニアリングのレッスンを蒸留します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We convert 21 of 28 full-attention layers of Qwen3-0.6B-Base into KDA (Kimi Delta Attention) linear-attention layers on a single consumer-grade GPU budget, and ask a simple question: what exactly does the conversion break? After surgery, hidden-state alignment and end-to-end KL distillation drive the student close to its teacher in perplexity, yet multiple-choice accuracy stays near random chance (25-29% vs. the teacher's 50.6% on C-Eval). Using a four-permutation diagnostic that rotates answer options while holding content fixed, we show the model sticks to option labels (predicting "A" 81% of the time; 106/161 questions keep the same label under all four rotations) rather than following answer content -- an interface injury that standard distillation metrics cannot see. A 1,000-step format-targeted completion-only KL stage repairs the interface (+12.48 points on C-Eval, label-stickiness roughly halved), after which persona SFT and one round of on-policy DPO preserve benchmark scores within noise. We release code, weights, recipes, and the full audit trail, and distill the engineering lessons -- including an FP32-master failure mode in which bf16 optimizer updates are silently swallowed -- that made convergence possible at this budget.
• Abstract（参考訳）: Qwen3-0.6B-Baseの28のフルアテンションレイヤのうち21を、単一のコンシューマグレードのGPU予算でKDA(Kimi Delta Attention)リニアアテンションレイヤに変換します。 手術後、隠れ状態のアライメントと終末のKL蒸留は、生徒を難易度で教師に近づけるが、複数の選択精度は無作為な確率(C-Evalでの教師の50.6%と比べて25-29%)に留まる。 コンテントを固定したまま回答オプションを回転させる4つの置換診断を用いて、標準蒸留量では見えないインターフェース障害ではなく、オプションラベル(Aを81%予測する106/161の質問は4つのローテーションすべてで同じラベルを保持する)にモデルスティックを表示する。 1000ステップのフォーマットを目標とするKLステージはインターフェースを修復する(C-Evalの+12.48ポイント、ラベルの粘度はおよそ半減)。 私たちはコード、ウェイト、レシピ、フル監査パスをリリースし、この予算でコンバージェンスを可能にしたFP32マスターの障害モードを含むエンジニアリングレッスン(bf16オプティマイザの更新が静かに飲み込まれる)を精査します。

関連論文リスト

• Safe Error Correction for Language Models: Frozen-Base Adjustment with Capability Preservation [0.0]
  凍結した言語モデルの上に,軽量なロジットレベルの補正モジュールを提案する。 CRN v2は53.3%のベースモデルのエラーを補正するが、テストされた性能ベンチマークの劣化は示さない。 テストした代替設定は、ランク128ロジット結果を超えなかった。
  論文  参考訳（メタデータ） (2026-09-14T18:00:15Z)
• Option-Aware Retrieval and Task-Specific VLM Adaptation for Medical VQA [0.0611737116137921]
  We describe our submit to the MedReason 2026 Challenge, covered multiple-choice (MCQ) and open-ended (OE) medical visual questioning (VQA)。 我々の最初の発見は、MCQ検索は、回答ラベルよりも回答表現を比較すべきであるということです。 タスク固有のMCQ Low-Rank Adaptation (LoRA) アダプタを固定し、オンプロンプト検索した例の数(k)を少なくとも1ケースで変更する。
  論文  参考訳（メタデータ） (2026-09-14T13:17:42Z)
• Route, Don't Fix: Regime-Dependent Decoding Correction and a Trajectory-Gated Router for Reliable Clinical LLM Answer Selection [1.4358829531570645]
  大型言語モデル (LLM) は幻覚の傾向から, 臨床質問に対する答えが危険であるとみなされることが多い。 推測時間補正はモデルの内部ロジット信号を使用するが、固定変換はすべての問題に適合する必要はない。 本稿では,終端エントロピーと終端層の線形性を読み取るALTASを導入し,強欲な復号法と終端層の軌道修正法を問う。
  論文  参考訳（メタデータ） (2026-09-13T22:36:37Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Capability-Stratified Degradation in Ternary Language Models [0.0]
  第三次言語モデルは重量を$-1,0,+1$に制限し、$log 3 approx 1.585$ bits/weightに近づいた。 量子化対応トレーニング(QAT)の72.4Mトークンを用いて、Qwen3.5-0.8B(752Mパラメータ)を3次重みに変換する。 結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。
  論文  参考訳（メタデータ） (2026-08-28T19:22:38Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation [2.587194279527956]
  CADENCEは統合されたフレームワークで、各障害モードに対してターゲットとなる修正を行う。 DRIFTは、学生サンプル軌道上の前方KLと逆KLのサロゲートを混合したトーケンの凸をスケジュールする。 A)COVA、(B)FTB、(B)大域正規化エントロピー参照による高エントロピー位置での勾配集中、(D)LAP、可視性優先正しいロールアウト強化、(E)エントロピー非依存キャリブレーション
  論文  参考訳（メタデータ） (2026-07-18T20:16:26Z)
• Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
  適応RAGをキャリブレーションした検索予算配分として定式化する。 シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。 シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
  論文  参考訳（メタデータ） (2026-06-29T08:36:33Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning [0.0]
  インターベンションバイアス(英語: Intervention bias)は、大規模言語モデル教育アドバイザリーエージェントの以前には確立されていなかった障害モードである。 教師付き政策学習は、このバイアスを排除していることを示す。 LLM-as-judge score is blind to intervention bias, rewarding fluent over-prescription rather than decision quality。
  論文  参考訳（メタデータ） (2026-06-28T08:58:17Z)
• Reliability-Asymmetric Spacecraft Autonomy: Co-Designing a Capable Learned GNC Stack with a Verified, Adaptation-Aware Runtime Shield [2.28438857884398]
  ルールベースの自律性は認証可能であるが不安定であり、学習された自律性は能力があるが検証するのは難しい。 AMPLE-GNCは3層誘導、ナビゲーション、制御スタックである。 文法制約付き復号化による事前訓練された360Mモデルの微調整は、ハードな出力値保証を与える。 我々は,有能な制御器であっても,ラッチングセーフホールドシールドが抑制可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-24T03:55:21Z)
• From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks [41.99844472131922]
  基礎モデル弱いラベルに対するベンチマークキャリブレーションを提供する。 理論によって予測される交差は、PCAMではng100、ISICでは20-50、NIH-CXRでは250-500である。 NIH-CXR上の構造付きvs-ランダムノイズ符号フリップは、境界のレートのみの定式化が不完全であることを示す。
  論文  参考訳（メタデータ） (2026-05-23T23:15:07Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• LaTER: Efficient Test-Time Reasoning via Latent Exploration and Explicit Verification [35.08680804423239]
  CoT(Chain-of- Thought)推論は、難しいタスクにおいて大きな言語モデル(LLM)を改善するが、推論コストも高くつく。 本稿では,連続潜伏空間における有界探索を最初に行う2段階のパラダイムであるLaTERを提案する。 LaTERは入力の埋め込み空間に隠された最後の層を投影し、潜伏KVキャッシュを保持し、エントロピーとモデルネイティブのストップトーケンプローブを使用していつ切り替えるかを決定する。
  論文  参考訳（メタデータ） (2026-05-08T06:23:58Z)
• When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models [2.064612766965483]
  MedMCQA(4,183質問)とPubMedQA(1,000質問)でMedGemma(4Bおよび27Bパラメータ)を評価する。 実験の結果,いくつかの知見が得られた。
  論文  参考訳（メタデータ） (2026-03-26T23:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。