論文の概要: Algorithmic Simplification of Neural Networks with Mosaic-of-Motifs

• arxiv url: http://arxiv.org/abs/2602.14896v1
• Date: Mon, 16 Feb 2026 16:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.542207
• Title: Algorithmic Simplification of Neural Networks with Mosaic-of-Motifs
• Title（参考訳）: モザイク・オブ・モザイクを用いたニューラルネットワークのアルゴリズム的単純化
• Authors: Pedram Bakhtiarifard, Tong Chen, Jonathan Wenshøj, Erik B Dam, Raghavendra Selvan,
• Abstract要約: プルーニング、量子化、知識蒸留といった手法は、モデルパラメータの数を大幅に削減するために使われてきた。 この振る舞いを説明するために,アルゴリズムの複雑さの観点から考察する。
• 参考スコア（独自算出の注目度）: 10.533982886956002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale deep learning models are well-suited for compression. Methods like pruning, quantization, and knowledge distillation have been used to achieve massive reductions in the number of model parameters, with marginal performance drops across a variety of architectures and tasks. This raises the central question: \emph{Why are deep neural networks suited for compression?} In this work, we take up the perspective of algorithmic complexity to explain this behavior. We hypothesize that the parameters of trained models have more structure and, hence, exhibit lower algorithmic complexity compared to the weights at (random) initialization. Furthermore, that model compression methods harness this reduced algorithmic complexity to compress models. Although an unconstrained parameterization of model weights, $\mathbf{w} \in \mathbb{R}^n$, can represent arbitrary weight assignments, the solutions found during training exhibit repeatability and structure, making them algorithmically simpler than a generic program. To this end, we formalize the Kolmogorov complexity of $\mathbf{w}$ by $\mathcal{K}(\mathbf{w})$. We introduce a constrained parameterization $\widehat{\mathbf{w}}$, that partitions parameters into blocks of size $s$, and restricts each block to be selected from a set of $k$ reusable motifs, specified by a reuse pattern (or mosaic). The resulting method, $\textit{Mosaic-of-Motifs}$ (MoMos), yields algorithmically simpler model parameterization compared to unconstrained models. Empirical evidence from multiple experiments shows that the algorithmic complexity of neural networks, measured using approximations to Kolmogorov complexity, can be reduced during training. This results in models that perform comparably with unconstrained models while being algorithmically simpler.
• Abstract（参考訳）: 大規模ディープラーニングモデルは圧縮に適しています。 プルーニング、量子化、知識蒸留といった手法は、様々なアーキテクチャやタスクで限界性能が低下するモデルパラメータの数を大幅に削減するために使われてきた。 ディープニューラルネットワークはなぜ圧縮に適しているのか? この研究では、アルゴリズムの複雑さの観点からこの振る舞いを説明します。 我々は、訓練されたモデルのパラメータがより構造を持ち、したがって(ランダム)初期化時の重みよりもアルゴリズムの複雑さが低いことを仮定する。 さらに、そのモデル圧縮法は、この削減されたアルゴリズムの複雑さを利用してモデルを圧縮する。 モデルの重みの非制約パラメータ化、$\mathbf{w} \in \mathbb{R}^n$ は任意の重み付けを表現できるが、訓練中に見つかった解は反復性と構造を示し、汎用プログラムよりもアルゴリズム的に単純である。 この目的のために、コルモゴロフ複雑性を $\mathbf{w}$ を $\mathcal{K}(\mathbf{w})$ で定式化する。 制約付きパラメータ化$\widehat{\mathbf{w}}$を導入し、パラメータを$s$のブロックに分割し、再利用パターン(あるいはモザイク)によって指定された再利用可能なモチーフセットから選択されるブロックを制限します。 その結果、$\textit{Mosaic-of-Motifs}$ (MoMos) は、制約のないモデルに比べてアルゴリズム的に単純なモデルパラメータ化をもたらす。 複数の実験から得られた実証的な証拠は、コルモゴロフ複雑性の近似を用いて測定されたニューラルネットワークのアルゴリズム的複雑さが、トレーニング中に減少することを示している。 これにより、アルゴリズム的に単純でありながら、制約のないモデルと互換性のあるモデルが得られる。

関連論文リスト

• Implicit Models: Expressive Power Scales with Test-Time Compute [17.808479563949074]
  入出力モデルは、新しいモデルクラスであり、単一のパラメータブロックを固定点に反復することで出力を計算します。 我々はこのギャップを表現力の非パラメトリック解析を通して研究する。 幅広い種類の暗黙的モデルに対して、このプロセスはテスト時間計算によるモデルの表現力尺度を可能にすることを証明している。
  論文  参考訳（メタデータ） (2025-10-04T02:49:22Z)
• Tuning Algorithmic and Architectural Hyperparameters in Graph-Based Semi-Supervised Learning with Provable Guarantees [9.141919626212903]
  グラフベースの半教師付き学習は、基礎となるグラフ構造をモデリングし活用するための機械学習の強力なパラダイムである。 グラフ畳み込みニューラルネットワーク(GCN)とグラフアテンションネットワーク(GAT)を各層に補間する可変アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:16:23Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Neural Implicit Manifold Learning for Topology-Aware Density Estimation [15.878635603835063]
  現在の生成モデルは、ニューラルネットワークを介して$m$次元の潜在変数をマッピングすることで、$mathcalM$を学ぶ。 我々のモデルは、プッシュフォワードモデルよりも複雑なトポロジーを持つ多様体支持分布を正確に学習できることが示される。
  論文  参考訳（メタデータ） (2022-06-22T18:00:00Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• $\mu$NCA: Texture Generation with Ultra-Compact Neural Cellular Automata [79.00163348781422]
  高コンパクトモデルを用いた実例に基づく手続き的テクスチャ合成の問題点について検討する。 我々は,NCA(Neural Cellular Automata)ルールによってパラメータ付けされた生成過程の学習に,微分可能プログラミングを用いる。
  論文  参考訳（メタデータ） (2021-11-26T15:26:37Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。