論文の概要: NdLinear: Don't Flatten! Building Superior Neural Architectures by Preserving N-D Structure

• arxiv url: http://arxiv.org/abs/2503.17353v2
• Date: Fri, 30 May 2025 17:35:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:34.446234
• Title: NdLinear: Don't Flatten! Building Superior Neural Architectures by Preserving N-D Structure
• Title（参考訳）: NdLinear: フラットにしない! N-D構造を保存した上層ニューラルネットワークの構築
• Authors: Alex Reneau, Jerry Yao-Chieh Hu, Zhongfang Zhuang, Ting-Chun Liu, Xiang He, Judah Goldfeder, Nadav Timor, Allen G Roush, Ravid Shwartz-Ziv,
• Abstract要約: NdLinearは、テンソルを直接操作することによって破壊的平坦化を回避する新しい線形変換である。 表現力を大幅に向上させ、劇的なパラメータ削減を実現し、良好な計算プロファイルを維持する。 NdLinearは、標準的な線形層に対する汎用的でドロップインの代替として、元のN次元形式でデータを処理している。
• 参考スコア（独自算出の注目度）: 4.693981446219421
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many high-impact machine learning tasks involve multi-dimensional data such as images, volumetric medical scans, and multivariate time-series. Yet, most neural architectures flatten these inputs, discarding critical cross-dimension information. We introduce $\textbf{NdLinear}$, a novel linear transformation that circumvents this destructive flattening by operating directly on tensors. NdLinear applies transformations separately along each data dimension, thereby preserving the native data structure. Extensive experiments demonstrate NdLinear's capacity to significantly enhance representational power, achieve dramatic parameter reductions (often by orders of magnitude), and maintain a favorable computational profile. For instance, when applied to Large Language Model finetuning, our $\textbf{NdLinear-LoRA}$ delivers comparable or improved accuracy on reasoning tasks using up to $9\times$ fewer trainable parameters than standard LoRA. These broad advantages of NdLinear are consistently validated across diverse neural architectures (CNNs, RNNs, Transformers, MLPs) and data domains, including vision, language, time-series, and tabular tasks. As a versatile, drop-in replacement for standard linear layers, NdLinear processes data in its original N-dimensional form, offering a foundational component for developing more efficient and powerful next-generation neural architectures.
• Abstract（参考訳）: 多くの高インパクト機械学習タスクは、画像、体積医学スキャン、多変量時系列などの多次元データを含む。 しかし、ほとんどのニューラルネットワークアーキテクチャはこれらの入力をフラットにし、重要なクロス次元情報を捨てている。 テンソル上で直接操作することで、この破壊的平坦化を回避する新しい線形変換である $\textbf{NdLinear}$ を導入する。 NdLinearは、各データ次元に沿って変換を別々に適用することで、ネイティブなデータ構造を保存する。 大規模な実験では、NdLinearの能力が表現力を大幅に向上させ、(しばしば桁違いに)劇的なパラメータ削減を実現し、良好な計算プロファイルを維持することを示した。 例えば、Large Language Modelの微調整に適用すると、$\textbf{NdLinear-LoRA}$は、標準のLoRAよりも最大9\times$少ないトレーニング可能なパラメータを使用して、推論タスクの同等または改善された精度を提供します。 NdLinearのこれらの幅広い利点は、さまざまなニューラルネットワーク(CNN、RNN、トランスフォーマー、MLP)と、ビジョン、言語、時系列、表計算タスクを含むデータドメインに一貫して検証されている。 標準的な線形層に対する汎用的でドロップインの代替として、NdLinearはデータを元のN次元形式で処理し、より効率的で強力な次世代ニューラルアーキテクチャを開発するための基礎的なコンポーネントを提供する。

関連論文リスト

• Manifold meta-learning for reduced-complexity neural system identification [1.0276024900942875]
  低次元多様体を発見するメタラーニングフレームワークを提案する。 この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習される。 両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2025-04-16T06:49:56Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• On the Difficulty of Designing Processor Arrays for Deep Neural Networks [0.0]
  カムーイ (Camuy) は、線形代数演算のための重み付き定常シストリックアレイの軽量モデルである。 本稿では,必要サイクル,データ移動コスト,およびシストリックアレイの利用率を推定する方法を説明するために,人気モデルの解析を行う。
  論文  参考訳（メタデータ） (2020-06-24T19:24:08Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。