論文の概要: NdLinear Is All You Need for Representation Learning

• arxiv url: http://arxiv.org/abs/2503.17353v1
• Date: Fri, 21 Mar 2025 17:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:05.435398
• Title: NdLinear Is All You Need for Representation Learning
• Title（参考訳）: NdLinearは、表現学習に必要なもの
• Authors: Alex Reneau, Jerry Yao-Chieh Hu, Zhongfang Zhuang, Ting-Chun Liu,
• Abstract要約: NdLinearは、余分なオーバーヘッドなしに多次元構造を保存する新しい線形変換である。 本稿では,畳み込み,再帰,変圧器ベースネットワークにおける表現力とパラメータ効率の大幅な向上を示す。 Ndlinear氏は、より表現力のある、コンテキスト対応の大規模モデルを可能にする、アーキテクチャの中心的な優先順位を再考する。
• 参考スコア（独自算出の注目度）: 1.9184706222154204
• License:
• Abstract: Many high-impact machine learning tasks involve multi-dimensional data (e.g., images, volumetric medical scans, multivariate time-series). Yet, most neural architectures flatten inputs, discarding critical cross-dimension information. We introduce NdLinear, a novel linear transformation that preserves these structures without extra overhead. By operating separately along each dimension, NdLinear captures dependencies that standard fully connected layers overlook. Extensive experiments across convolutional, recurrent, and transformer-based networks show significant improvements in representational power and parameter efficiency. Crucially, NdLinear serves as a foundational building block for large-scale foundation models by operating on any unimodal or multimodal data in its native form. This removes the need for flattening or modality-specific preprocessing. Ndlinear rethinks core architectural priorities beyond attention, enabling more expressive, context-aware models at scale. We propose NdLinear as a drop-in replacement for standard linear layers -- marking an important step toward next-generation neural architectures.
• Abstract（参考訳）: 高インパクト機械学習タスクの多くは、多次元データ(画像、体積医学スキャン、多変量時系列など)を含む。 しかし、ほとんどのニューラルネットワークアーキテクチャは入力をフラットにし、重要なクロス次元情報を捨てる。 我々はこれらの構造を余分なオーバーヘッドなく保存する新しい線形変換であるNdLinearを紹介する。 各次元に沿って個別に操作することで、NdLinearは標準の完全に接続されたレイヤが見渡す依存関係をキャプチャする。 畳み込み、リカレント、トランスフォーマーベースのネットワークにわたる大規模な実験では、表現力とパラメータ効率が大幅に改善された。 重要なこととして、NdLinearは、そのネイティブな形式で、任意の非モーダルまたはマルチモーダルデータを操作することによって、大規模ファンデーションモデルの基本的なビルディングブロックとして機能する。 これにより、フラット化やモダリティ固有の前処理の必要性がなくなる。 Ndlinear氏は、より表現力のある、コンテキスト対応の大規模モデルを可能にする、アーキテクチャの中心的な優先順位を再考する。 我々は、NdLinearを標準線形レイヤのドロップイン代替として提案します。

関連論文リスト

• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• On the Difficulty of Designing Processor Arrays for Deep Neural Networks [0.0]
  カムーイ (Camuy) は、線形代数演算のための重み付き定常シストリックアレイの軽量モデルである。 本稿では,必要サイクル,データ移動コスト,およびシストリックアレイの利用率を推定する方法を説明するために,人気モデルの解析を行う。
  論文  参考訳（メタデータ） (2020-06-24T19:24:08Z)
• Regularized Adaptation for Stable and Efficient Continuous-Level Learning on Image Processing Networks [7.730087303035803]
  フィルタ遷移ネットワーク(FTN)を用いた新しい連続レベル学習フレームワークを提案する。 FTNは、新しいレベルに容易に適応できる非線形モジュールであり、望ましくない副作用を防ぐために正規化されている。 様々な画像処理結果から,FTNの性能は適応性および適応性において安定であることが示唆された。
  論文  参考訳（メタデータ） (2020-03-11T07:46:57Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。