論文の概要: NdLinear Is All You Need for Representation Learning

• arxiv url: http://arxiv.org/abs/2503.17353v1
• Date: Fri, 21 Mar 2025 17:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:10.559547
• Title: NdLinear Is All You Need for Representation Learning
• Title（参考訳）: NdLinearは、表現学習に必要なもの
• Authors: Alex Reneau, Jerry Yao-Chieh Hu, Zhongfang Zhuang, Ting-Chun Liu,
• Abstract要約: NdLinearは、余分なオーバーヘッドなしに多次元構造を保存する新しい線形変換である。 本稿では,畳み込み,再帰,変圧器ベースネットワークにおける表現力とパラメータ効率の大幅な向上を示す。 Ndlinear氏は、より表現力のある、コンテキスト対応の大規模モデルを可能にする、アーキテクチャの中心的な優先順位を再考する。
• 参考スコア（独自算出の注目度）: 1.9184706222154204
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many high-impact machine learning tasks involve multi-dimensional data (e.g., images, volumetric medical scans, multivariate time-series). Yet, most neural architectures flatten inputs, discarding critical cross-dimension information. We introduce NdLinear, a novel linear transformation that preserves these structures without extra overhead. By operating separately along each dimension, NdLinear captures dependencies that standard fully connected layers overlook. Extensive experiments across convolutional, recurrent, and transformer-based networks show significant improvements in representational power and parameter efficiency. Crucially, NdLinear serves as a foundational building block for large-scale foundation models by operating on any unimodal or multimodal data in its native form. This removes the need for flattening or modality-specific preprocessing. Ndlinear rethinks core architectural priorities beyond attention, enabling more expressive, context-aware models at scale. We propose NdLinear as a drop-in replacement for standard linear layers -- marking an important step toward next-generation neural architectures.
• Abstract（参考訳）: 高インパクト機械学習タスクの多くは、多次元データ(画像、体積医学スキャン、多変量時系列など)を含む。 しかし、ほとんどのニューラルネットワークアーキテクチャは入力をフラットにし、重要なクロス次元情報を捨てる。 我々はこれらの構造を余分なオーバーヘッドなく保存する新しい線形変換であるNdLinearを紹介する。 各次元に沿って個別に操作することで、NdLinearは標準の完全に接続されたレイヤが見渡す依存関係をキャプチャする。 畳み込み、リカレント、トランスフォーマーベースのネットワークにわたる大規模な実験では、表現力とパラメータ効率が大幅に改善された。 重要なこととして、NdLinearは、そのネイティブな形式で、任意の非モーダルまたはマルチモーダルデータを操作することによって、大規模ファンデーションモデルの基本的なビルディングブロックとして機能する。 これにより、フラット化やモダリティ固有の前処理の必要性がなくなる。 Ndlinear氏は、より表現力のある、コンテキスト対応の大規模モデルを可能にする、アーキテクチャの中心的な優先順位を再考する。 我々は、NdLinearを標準線形レイヤのドロップイン代替として提案します。

関連論文リスト

• Manifold meta-learning for reduced-complexity neural system identification [1.0276024900942875]
  低次元多様体を発見するメタラーニングフレームワークを提案する。 この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習される。 両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2025-04-16T06:49:56Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• On the Difficulty of Designing Processor Arrays for Deep Neural Networks [0.0]
  カムーイ (Camuy) は、線形代数演算のための重み付き定常シストリックアレイの軽量モデルである。 本稿では,必要サイクル,データ移動コスト,およびシストリックアレイの利用率を推定する方法を説明するために,人気モデルの解析を行う。
  論文  参考訳（メタデータ） (2020-06-24T19:24:08Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。