論文の概要: Every Weight Is a Path of Shared Discrete Decisions

• arxiv url: http://arxiv.org/abs/2610.31931v1
• Date: Thu, 22 Oct 2026 21:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.297533
• Title: Every Weight Is a Path of Shared Discrete Decisions
• Title（参考訳）: すべての体重は、共有された離散的な決定の道である
• Abstract要約: TWIG(Tree-structured Weights with Inherited Gates)は、ニューラルネットワークのすべての重みが小さな離散的な決定の経路の終端である表現である。 共に属する重みは、経路の上部を共有し、各決定は、その下にあるすべての重みによって継承されるため、一度だけ保存され、一度適用される。 TWIGは、この傾向を最後まで受け取り、すべての一般的なフォーマットは、余分なコストなしで浅いTWIGである。
• 参考スコア（独自算出の注目度）: 0.7212939068975618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce TWIG (Tree-structured Weights with Inherited Gates), a representation in which every weight of a neural network is the end of a path of small discrete decisions: a sign, a shift by a power of two, a zero gate, an index into a shared table. Weights that belong together share the upper part of their paths, and each decision is inherited by every weight below it, so it is stored once and applied once. This simple change has three consequences. Any trained network can be written as a TWIG, and when the decisions are powers of two its weight layers become circuits made almost entirely of wires and adders, suited to chips whose weights are fixed at fabrication. Pruning, quantization, low-rank factorization, codebooks and weight sharing become edits of one object, so a single optimizer can choose among all of them for a whole network. And choosing the decisions is the ground-state problem of a higher-order Boltzmann machine whose interactions follow the paths of the tree, the problem class that annealers and quantum optimizers are built to solve. Today these questions are handled apart: each compression method brings its own format and solver, a circuit with fixed weights needs a dedicated constant multiplier for every weight, and discrete solvers reach only narrow subproblems such as rounding. Weight formats have long been moving toward shared decisions, through group scales, shared exponents, microexponents and sparse weights; TWIG takes this trend to its end, and every common format is a shallow TWIG at no extra cost. On five weight matrices of a large language model, a flat tree whose signed power-of-two terms are chosen per weight for circuit cost, with no group scales, needs 9--15\% fewer additions than GPTQ at equal layer error at 3- and 4-bit accuracy on typical matrices, and 20--55\% fewer on matrices with strong outliers.
• Abstract（参考訳）: TWIG(Tree-structured Weights with Inherited Gates)は、ニューラルネットワークのすべての重みが小さな離散的な決定のパスの終端となる表現である。 共に属する重みは、経路の上部を共有し、各決定は、その下にあるすべての重みによって継承されるため、一度だけ保存され、一度適用される。 この単純な変化は3つの結果をもたらす。 トレーニングされたネットワークは、TWIGと書くことができ、その決定が2つの重みのパワーとなると、その重みが製造時に固定されたチップに適した、ほとんどすべてワイヤーと加算器で作られた回路になる。 プルーニング、量子化、低ランク因数分解、コードブック、ウェイトシェアリングは1つのオブジェクトの編集になるため、ネットワーク全体に対して1つのオプティマイザを選択できる。 そして、この決定を選択することは高階ボルツマンマシンの基底状態の問題であり、その相互作用は木の経路を辿り、アニーラーと量子オプティマイザが解決するために構築される問題クラスである。 それぞれの圧縮法は独自の形式と解法を持ち、固定重みを持つ回路は全ての重みに対して専用定数乗算器を必要とし、離散解き器は丸めのような狭いサブプロブレムにしか達しない。 ウェイトフォーマットは、グループスケール、共有指数、マイクロ指数、スパースウェイトを通じて、長い間共有された決定に向かって移動してきた; TWIGはこの傾向を最後に捉え、すべての共通フォーマットは、追加コストなしで浅いTWIGである。 大言語モデルの5つの重み行列では、符号付き2項が回路コスト毎に選択され、グループスケールを持たない平坦な木は、典型的な行列の3ビットと4ビットの誤差でGPTQよりも9～15倍の加算が必要であり、出力率の強い行列では20～55倍の加算が必要である。

関連論文リスト

• Neural Quadratic Forms: A Unified Minimal Model for Sudden Learning and Scaling Laws [12.27037893891717]
  スムーズなコスト関数上の勾配降下によって訓練されたニューラルネットワークは、ステップで学習することができる。 訓練損失はスムーズな電力法に従っている。 対称性がそれらの変数を固定していることが示される。
  論文  参考訳（メタデータ） (2026-08-13T15:05:43Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Head-wise Shareable Attention for Large Language Models [56.92068213969036]
  大きな言語モデル(LLM)は膨大な数のパラメータに悩まされており、エッジデバイスへのデプロイメントを制限している。 ウェイトシェアリングは、ウェイト再利用を促進する有望なソリューションのひとつで、メモリ使用量を効果的に削減し、パフォーマンスを低下させる。 本稿では,大規模言語モデルにおける頭部的共通性に着目した視点を示す。
  論文  参考訳（メタデータ） (2024-02-19T04:19:36Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training [59.48691524227352]
  スパースニューラルネットワークをゼロからトレーニングするには、接続自体と同時にコネクションを最適化する必要がある。 トレーニング中に各レイヤ間の接続は複数回最適化されるが、各レイヤの密度は通常一定である。 我々は、すべての層に重みを分散するテクニックであるGlobal Gradient-based Redistributionを提案する。
  論文  参考訳（メタデータ） (2022-10-25T13:32:09Z)
• The activity-weight duality in feed forward neural networks: The geometric determinants of generalization [7.372592187197655]
  ニューロンの特定の層における活動の変化と、任意のフィードフォワード神経ネットワーク内の密結合層内のニューロンの次の層に接続する重みの変化の間には、正確な双対性がある。 これらの洞察は、過度にパラメータ化されたニューラルネットワークでより一般化可能なソリューションを見つけるアルゴリズムの開発を導くのに使うことができる。
  論文  参考訳（メタデータ） (2022-03-21T05:00:54Z)
• K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets [52.983810997539486]
  我々は、$K$-shotスーパーネットを導入し、各操作の重みを辞書として取り込む。 textitsimplex-netを導入し、各パスに対してアーキテクチャにカスタマイズされたコードを生成する。 ベンチマークデータセットの実験では、KショットNASがパスの評価精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T14:57:36Z)
• Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning [33.450042829375086]
  マルチレイヤネットワーク探索(MuLaNE)問題は、多くのアプリケーションから抽象化された重要な問題である。 MuLaNEには複数のネットワーク層があり、各ノードは重みを持ち、各レイヤはランダムウォークによって探索される。 オフライン最適化からオンライン学習まで,この問題を体系的に研究する。
  論文  参考訳（メタデータ） (2021-06-09T13:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。