論文の概要: Weight Pair Encoding: Inducing a Smaller Grammar in Neural Network Weights

• arxiv url: http://arxiv.org/abs/2609.31564v1
• Date: Fri, 25 Sep 2026 17:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.521242
• Title: Weight Pair Encoding: Inducing a Smaller Grammar in Neural Network Weights
• Title（参考訳）: ウェイトペアエンコーディング:ニューラルネットワークのウェイトでより小さな文法を生成する
• Abstract要約: ニューラルネットワークの重み付けは、より小さな文法を受け入れるために精細に調整できることを示す。 ネットワークのInt8重みを1つの文字列に平らにし、グローバルなL2予算でほぼ一致するRe-Pairパターンを正確に等しくする。
• 参考スコア（独自算出の注目度）: 17.976476733407935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that neural network weights can be explicilty fintuned to admit a smaller grammar. Weight Pair Encoding (WeightPE) does so by placing a lossy Re-Pair compressor inside a straight-through estimator. The int8 weights of the network are flattened into one string, and near-matching Re-Pair patterns are made exactly equal within a global L2 budget. The network computes with the rewritten weights and trains through them with a straight-through estimator. Unlike a flat codebook of fixed-size entries, a grammar offers variable-length patterns and reuses them hierarchically inside larger ones. On the MLP weights of ViT-B/16 and ViT-L/16 finetuned on CIFAR-10, WeightPE produces a Re-Pair grammar 0.43x and 0.38x the size of the one produced by an equivalent int8 QAT run, at a cost of 1.9 and 1.1 accuracy points. The trend extends to different grammar compressors (LZ78, SEQUITUR), over which the networks has not be finetuned against. To our knowledge, this is the first time grammar size has been used as an explicit training objective for network weights.
• Abstract（参考訳）: ニューラルネットワークの重み付けは、より小さな文法を受け入れるために精細に調整できることを示す。 Weight Pair Encoding (WeightPE) は、損失のあるRe-Pair圧縮機をストレートスルー推定器内に配置することで実現している。 ネットワークのint8重みは1つの文字列に平坦化され、ほぼ一致するRe-Pairパターンは、グローバルなL2予算内で正確に等しくなる。 ネットワークは、書き換えられたウェイトで計算し、それらをストレートスルー推定器で訓練する。 固定サイズのエントリからなるフラットなコードブックとは異なり、文法は可変長パターンを提供し、大きなエントリの中で階層的に再利用する。 CIFAR-10 で微調整された ViT-B/16 と ViT-L/16 の MLP 重量に対して、WeightPE は1.9 と 1.1 の精度で、等価な int8 QAT ランで生成されたものと同等の大きさの Re-Pair 文法 0.43x と 0.38x を生成する。 この傾向は異なる文法圧縮機(LZ78, SEQUITUR)にも及んでいる。 私たちの知る限り、ネットワーク重みの明示的なトレーニング目的として文法サイズが使用されるのは、これが初めてです。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• Weights Augmentation: it has never ever ever ever let her model down [1.5020330976600735]
  本稿では,重量増大の概念を,重量探査に焦点をあてて提案する。 ウェイト増強戦略(Weight Augmentation Strategy, WAS)とは、損失関数の計算に使用できるネットワークに対して、ランダムに変換されたウェイト係数のトレーニングと変換を行う手法である。 我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
  論文  参考訳（メタデータ） (2024-05-30T00:57:06Z)
• STAT: Shrinking Transformers After Training [72.0726371426711]
  微調整なしで変圧器モデルを作成するための簡単なアルゴリズムSTATを提案する。 STATは、次の層の重みを補正して精度を保ちながら、注意頭とニューロンの両方をネットワークから排除する。 われわれのアルゴリズムは、BERTを圧縮するのに数分を要し、単一のGPUを用いて7Bパラメータを持つモデルを圧縮するのに3時間もかからない。
  論文  参考訳（メタデータ） (2024-05-29T22:59:11Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Co-training $2^L$ Submodels for Visual Recognition [67.02999567435626]
  サブモデルコトレーニングは、コトレーニング、自己蒸留、深さに関連する正規化手法である。 サブモデルのコトレーニングは,画像分類やセマンティックセグメンテーションなどの認識タスクのためのバックボーンのトレーニングに有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-09T14:38:09Z)
• Weight Fixing Networks [0.0]
  ネットワーク内の一意なパラメータのエントロピーと数を最小化するために、ネットワーク全体の量子化を検討する。 そこで本研究では,4つのモデル結果の目標を実現するために,WFN(Weight Fixing Networks)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T19:18:02Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• Sparsity-Control Ternary Weight Networks [34.00378876525579]
  我々は、乗算を回避し、メモリと要求を大幅に削減できる3次重み -1, 0, +1 ネットワークのトレーニングに重点を置いている。 既存の3次重みネットワークのトレーニングアプローチでは、3次重みの間隔を制御できない。 3次重みネットワークをトレーニングするための第一時空間制御手法(SCA)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T18:06:26Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。