論文の概要: Understanding and Exploiting Anisotropy in Post-Training

• arxiv url: http://arxiv.org/abs/2609.32792v1
• Date: Sat, 26 Sep 2026 17:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:13:48.228146
• Title: Understanding and Exploiting Anisotropy in Post-Training
• Title（参考訳）: ポストトレーニングにおける異方性理解と爆発
• Abstract要約: LLM後トレーニングは教師付き微調整(SFT)と強化学習(RL)を併用する 周波数重み付き可能性トレーニングは、いくつかの残留チャネルが不均等に大きな活性化を担っている、幻異方性(enphanisotropy)というよく知られたサインを残している。 異方性は広く文書化され、通常は欠陥として扱われるが、その機能と後処理との相互作用は未だ不明である。
• 参考スコア（独自算出の注目度）: 4.668967561581155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM post-training combines supervised fine-tuning (SFT), a mode-covering forward-KL objective, with reinforcement learning (RL), a mode-seeking reverse-KL objective. Frequency-weighted likelihood training leaves a well-known signature: \emph{anisotropy}, in which a few residual channels carry disproportionately large activations. Anisotropy is widely documented and usually treated as a defect, yet its function and its interaction with post-training remain unclear. We first analyze it. A label-free outlier rule isolates about 5\% of residual channels that are essential for language modeling: removing them raises perplexity from 10 to over $10^6$, versus 35 for count-matched random channels. Yet they barely distinguish correct from incorrect reasoning. SFT reshapes them, whereas RL leaves them largely intact and adapts the complementary channels. These channels therefore form the model's \emph{coherence substrate}, and reasoning adaptation happens elsewhere. We then exploit this. \textsc{SphereGate} learns one bounded gain per residual channel on a frozen backbone. Its activation-weighted gradients provably limit movement of high-energy coherence channels and leave the remaining channels free. With 0.1M trainable parameters, \textsc{SphereGate} outperforms parameter-efficient baselines by 2.0--7.3 points on MATH-500 across Qwen2.5 (0.5B--7B) and Llama-3-8B, is comparable or exceeds full-model GRPO. Anisotropy is not a defect but a division of labor that post-training can exploit.
• Abstract（参考訳）: LLMポストトレーニングは、モード被覆前方KL目標である教師付き微調整(SFT)と、モード探索逆KL目標である強化学習(RL)を組み合わせる。 周波数重み付けされた可能性訓練は、いくつかの残留チャネルが不均等に大きな活性化を担っている、よく知られた記号である 'emph{anisotropy} を残している。 異方性は広く文書化され、通常は欠陥として扱われるが、その機能と後処理との相互作用は未だ不明である。 私たちはまずそれを分析します。 ラベルなしのアウトリーチ規則は、言語モデリングに不可欠な残留チャネルの約56%を分離する:それらを取り除くと、10ドルから10ドル以上まで複雑になるが、カウントマッチングされたランダムチャネルは35ドルになる。 しかし、誤った推論とはほとんど区別がつかない。 SFTはそれらを再認識するが、RLはそれらをほとんど無傷に残し、相補的なチャネルに適応する。 したがって、これらのチャネルはモデルの \emph{coherence substrate} を形成し、推論適応は別の場所で起こる。 そしてこれを活用します。 \textsc{SphereGate} は、凍結したバックボーン上の残留チャネル毎に1つの有界ゲインを学習する。 その活性化重み付け勾配は、高エネルギーコヒーレンスチャネルの移動を確実に制限し、残りのチャネルを自由にしておく。 0.1Mのトレーニング可能なパラメータで、 \textsc{SphereGate} は Qwen2.5 (0.5B--7B) と Llama-3-8B にまたがる MATH-500 でパラメータ効率のベースラインを2.0--7.3 で上回り、フルモデルGRPO に匹敵する。 異方性は欠陥ではなく、ポストトレーニングが活用できる分業である。

関連論文リスト

• Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features [14.161295861192727]
  Supervised Fine-tuning (SFT) は、最も積極的な学習をトークンから行う。 本稿では,事前学習モデルとSFTデルタを凍結するエントロピー誘導型適応強度制御法を提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:17:22Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
  内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。 コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。 我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
  論文  参考訳（メタデータ） (2026-04-13T17:40:31Z)
• Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
  本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。 合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善 DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
  論文  参考訳（メタデータ） (2026-02-03T23:38:05Z)
• QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models [44.515165695546614]
  量子化アウェアトレーニング(QAT)はソリューションを提供するが、トレーニング後の量子化(PTQ)は大規模言語モデル(LLM)のより実践的なアプローチとなる。 LLM向けに設計された高精度かつ効率的な低ビット幅PTQ法QLLMを提案する。
  論文  参考訳（メタデータ） (2023-10-12T05:25:49Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。