論文の概要: One Vector or Many? Clustered Optimal-Transport Steering under Quantization

• arxiv url: http://arxiv.org/abs/2610.40055v1
• Date: Thu, 29 Oct 2026 13:46:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.512124
• Title: One Vector or Many? Clustered Optimal-Transport Steering under Quantization
• Title（参考訳）: 1ベクトルか何個か? 量子化下でのクラスタ化された最適トランスポートステアリング
• Abstract要約: Gemma-2-2BおよびGranite-3.1-2Bにおける毒性軽減のためのクラスター化された最適輸送マップ群について検討した。 したがって、クラスタマップは、クラスタサイズからルーティングウェイトが離れているトークンに対してのみ、DiMと異なることができる。 個々のトークンに装着された変種は、それぞれのトークンを主に最も近いクラスタにルーティングし、Gemma上のDiMよりも37～39%、ステアリング強度3でグラナイトに51～61%の毒性を残している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering changes what a language model generates by editing its hidden states at inference time. Its most common form adds one vector, the difference of class means (DiM), to every hidden state. CHaRS (concept heterogeneity-aware representation steering) uses optimal transport instead: an entropic plan pairs the clusters of the two classes, and each hidden state moves along a mixture of the cluster displacements, weighted toward its nearest clusters. We study this family of clustered optimal-transport maps for toxicity mitigation in Gemma-2-2B and Granite-3.1-2B, and ask what the plan adds to DiM and whether that survives INT8 and NF4 quantization. We prove an identity: whatever the plan, the displacements averaged with the cluster sizes as weights equal DiM, so a clustered map can differ from DiM only for tokens whose routing weights depart from the cluster sizes. In the CHaRS protocol they stay close, and CHaRS is statistically equivalent to Mean-AcT, which adds DiM at every layer, in all eight pre-specified equivalence tests. A variant fitted on individual tokens, which routes each token mainly to its nearest clusters, leaves 37-39% less toxicity than DiM on Gemma and 51-61% less on Granite at steering strength 3 (toxic-bert), where DiM already removes 76-85% of it. Two other toxicity classifiers confirm the gain on Granite, but on Gemma only one does. At equal strength the variant has somewhat higher perplexity, but at matched toxicity it is slightly more fluent than DiM. Yet a nearly constant map from the same clusters also leaves about 30% less toxicity, so the role of treating tokens differently remains open. Under INT8 and NF4 the variant still leaves less toxicity than DiM, and transferring it from full precision to the NF4 model instead of refitting it adds no significant toxicity after correction for multiple tests.
• Abstract（参考訳）: アクティベーションステアリングは、推論時に隠れた状態を編集することによって言語モデルが生成するものを変更する。 その最も一般的な形式は1つのベクトル、すなわちクラス平均(DiM)の差をすべての隠れ状態に付加する。 CHaRS (concept heterogeneity-aware representation steering) は代わりに最適な輸送を使用する: エントロピックプランは2つのクラスのクラスタをペアにし、各隠れた状態はクラスタの変位の混合に沿って移動し、最も近いクラスタに向かって重み付けされる。 Gemma-2-2B と Granite-3.1-2B の毒性軽減のためのクラスタ化された最適輸送マップ群について検討し,その計画が DiM に何をもたらすのか,また INT8 と NF4 の量子化を生き延びるかを問う。 したがって、クラスタマップは、クラスタサイズからルーティングウェイトが離れているトークンに対してのみ、DiMと異なることができる。 CHaRSプロトコルは近いままであり、CHaRSはMean-AcTと統計的に等価である。 個々のトークンに装着された変種は、それぞれのトークンを主に最も近いクラスタにルーティングし、Gemma上のDiMよりも37～39%毒性が低く、Graniteのステアリング強度3(有害ベルト)では51～61%低下し、Dimはすでに76～85%を除去している。 他の2つの毒性分類器はグラナイトの利得を確認するが、Gemmaでは1つだけである。 等強度では、この変種は少し高いパープレキシティを持つが、毒性と一致する場合は、DiMよりもわずかに流動性が高い。 しかし、同じクラスターからのほぼ一定に近い写像も毒性を約30%減少させるため、トークンを別々に扱う役割は未開のままである。 INT8 と NF4 の下では、変種は依然として DiM よりも毒性が低いままであり、完全精度から NF4 モデルへの移植は、複数の試験の修正後に有意な毒性を与えない。

関連論文リスト

• Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models [49.51177333039044]
  我々は、dLLMロールアウトにおいて、体系的な上流/下流構造を同定する。 Informed Masking (IM) を提案する。これは、余剰推論コストゼロのデノベーション軌道から、ダウンストリームトークンへのマスクサンプリングの偏りを導出する。 LLaDA-8B-インストラクタ上で3つの最先端のdLLM RLメソッドにプラグインされると、最大2.01%、8.68%、および5.77%の相対的なゲインを数学と計画ベンチマークで提供し、トレーニング安定性を改善した。
  論文  参考訳（メタデータ） (2026-09-22T09:31:23Z)
• Beyond Argmax: A Mechanistic Study of Semantic Retention in Frozen Foundation-Model Composition for Generalized Few-Shot 3D Segmentation [0.0]
  異種情報源が相互作用する前に単一クラスに崩壊した場合に,意味情報がどの程度の有用性を失うかを検討する。 殆どの情報は、コンパクトな可算な代替品の集合を保持することによって回収される。 この寄与は、不均一な凍結モデル構成における繰り返し情報ボトルネックとして、未熟なセマンティック崩壊の制御された診断である。
  論文  参考訳（メタデータ） (2026-09-10T18:25:53Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• CoSWA-YOLOv12: Scale-Invariant Tiny Object Detection and Segmentation of Malaria Parasites [0.0]
  自動顕微鏡は、低リソース環境でマラリア診断へのアクセスを拡大する可能性がある。 P. falciparum は初期の環の段階において、数十ピクセルの幅しか持たない物体として現れる。 コンパクトなYOLOv12インスタンスセグメンテーション検出器であるCoSWA-YOLOv12を提案する。
  論文  参考訳（メタデータ） (2026-08-25T06:00:04Z)
• Block-Level Weight-Space Structure Persists Under Post-Training: An Empirical Study Across LLM Families [3.556355987197792]
  ポストトレーニングが重み空間幾何学をどう変えるかを研究する。 当社はLinkerLLMという遅延ローダを開発しています。
  論文  参考訳（メタデータ） (2026-08-23T05:15:25Z)
• DGLD: Domain-Gated Latent Diffusion for the Discovery of Novel Energetic Materials [47.027290803102666]
  Domain-Gated Latent Diffusion (DGLD)は、訓練時のラベル品質の高いゲートであり、サンプル時のマルチタスクスコアモデルガイダンスであり、第一原理DFT監査で終わる4段階の化学価関数である。 ヘッドライン化合物である3,4,5-トリニトロ-1,2-イソキサゾール(L1)は、rho_"cal" =2.09 g/cm3とD_"K-J,cal" =8.25 km/sに到達し、全ての65980のトレーニング分子と構造的に異なる。
  論文  参考訳（メタデータ） (2026-05-26T04:43:45Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Only relative ranks matter in weight-clustered large language models [0.0]
  大規模言語モデル(LLM)は数十億のパラメータを含むが、多くの正確な値は必須ではない。 重みの相対的なランクは、ある接続が正確な大きさよりも強いか弱いかを示す。 Llama 3.1-8B-Instruct と SmolLM2-135M では、各行列を16-64個の異なる値に減らし、再トレーニングすることなく高い精度を保っている。
  論文  参考訳（メタデータ） (2026-03-18T16:55:13Z)
• Learning Equivariant Non-Local Electron Density Functionals [51.721844709174206]
  等変グラフニューラルネットワーク(GNN)に基づく新しい非局所XC関数であるEquivariant Graph Exchange correlation (EG-XC)を導入する。 この点の雲に同変GNNを適用することにより、スケーラブルで正確な分子レンジ相互作用をキャプチャする。 EG-XCは、QM9上のデータ効率と分子サイズの外挿に優れ、5倍以上の分子で訓練された整合力場である。
  論文  参考訳（メタデータ） (2024-10-10T14:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。