論文の概要: Learning Compositional Latent Structure with Vector Networks

• arxiv url: http://arxiv.org/abs/2605.28007v1
• Date: Wed, 27 May 2026 05:56:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.787288
• Title: Learning Compositional Latent Structure with Vector Networks
• Title（参考訳）: ベクトルネットワークを用いた構成潜在構造学習
• Authors: Niclas Pokel, Benjamin F. Grewe,
• Abstract要約: 本稿では,各層が固定重み行列を再利用可能なランク1重み原子のライブラリに置き換える階層的リカレントアーキテクチャであるベクトルネットワーク(VN)を紹介する。 VNは分布の強い基底線と一致し、よく知られた因子を新しい方法で組み直さなければならないとき、しばしば桁違いに低い分布誤差を達成する。
• 参考スコア（独自算出の注目度）: 3.1549361383968524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep networks are powerful function approximators, but they typically store many different computations in shared weight matrices, making it difficult to selectively reuse or adapt parts of them when a familiar structure appears in novel combinations. We introduce the Vector Network (VN), a hierarchical recurrent architecture in which each layer replaces a fixed weight matrix with a library of reusable rank-1 weight atoms. For each input, VN minimizes a layer-local energy to infer a sparse set of active weight atoms and their coefficients, jointly constrained by bottom-up input reconstruction and top-down feedback consistency. These weight atom coefficients then compose an input-specific low-rank weight matrix for that sample. After convergence, slow learning updates only the selected weight atoms through local residual signals scaled by the inferred coefficients. We evaluate VN on four compositional benchmarks spanning 1D signals, 2D spatial decoding, N-body dynamics, and compositional MNIST. VN matches strong baselines in distribution while often achieving out-of-distribution error about an order of magnitude lower when familiar factors must be recombined in novel ways. Vector networks thus make compositional generalization a structural property of the architecture and inference process rather than a brittle byproduct of fitting many behaviors into one shared dense parameter substrate.
• Abstract（参考訳）: ディープネットワークは強力な関数近似器であるが、一般に多くの異なる計算を共有重み行列に格納するので、新しい組み合わせに慣れ親しんだ構造が現れると、その部分の選択的再利用や適応が困難になる。 本稿では,各層が固定重み行列を再利用可能なランク1重み原子のライブラリに置き換える階層的リカレントアーキテクチャであるベクトルネットワーク(VN)を紹介する。 それぞれの入力に対して、VNは局所的なエネルギーを最小限に抑え、ボトムアップ入力再構成とトップダウンフィードバック整合性によって連立的に制約された活性重原子とその係数のスパースセットを推定する。 これらの重み原子係数は、そのサンプルに対して入力固有の低ランクの重み行列を構成する。 収束後、遅い学習は、推定係数によってスケールされた局所的残留信号を通して選択された重量原子のみを更新する。 1次元信号、2次元空間デコーディング、N-body dynamics、MNISTの4つの構成ベンチマークでVNを評価する。 VNは分布の強い基底線と一致し、よく知られた因子を新しい方法で組み直さなければならないとき、しばしば桁違いに低い分布誤差を達成する。 ベクトルネットワークは、多くの挙動を1つの共有密度パラメータ基板に適合させる不安定な副産物よりも、構成一般化をアーキテクチャの構造的特性と推論過程に当てはめる。

関連論文リスト

• Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems [0.0]
  本稿では,リコメンデータシステムにおける支配的相互作用機構に適用可能なランクアウェア分解について述べる。 この分解は、コンテキストのみの計算を、元のモデルと同等の1/1の要求から1/1の要求に移行する。 DLRMスタイルのランサーをアーキテクチャ変更せずに生産する場合、分解はポッド当たりのスループットを87.5%向上させる。
  論文  参考訳（メタデータ） (2026-05-24T13:35:36Z)
• NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces [15.631276865948097]
  ニューラルネットワーク拡散変換器 (NNiT) を導入し, ウェイトを幅に依存しない方法で生成する。 ManiSkill3のロボティクスタスクでは、NNiTはトレーニング中に見つからないアーキテクチャトポロジで85%の成功を達成し、ベースラインアプローチは一般化に失敗する。
  論文  参考訳（メタデータ） (2026-02-26T20:47:30Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
  連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。 エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。 本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
  論文  参考訳（メタデータ） (2021-01-18T16:31:19Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。