論文の概要: Smaller, Faster, Cheaper: Architectural Designs for Efficient Machine Learning
- arxiv url: http://arxiv.org/abs/2507.19795v1
- Date: Sat, 26 Jul 2025 04:56:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:56.192562
- Title: Smaller, Faster, Cheaper: Architectural Designs for Efficient Machine Learning
- Title（参考訳）: より小さく、より速く、より安全:効率的な機械学習のためのアーキテクチャ設計
- Authors: Steven Walton,
- Abstract要約: 論文は、モデルが計算要求を減らしながらパフォーマンスを向上できるというアーキテクチャ原則に焦点を当てている。
まず、データ入力とエクスグレスに注目し、コアのニューラル処理ユニットから情報がどのように渡され、取得されるかを調べます。
第2に、視覚変換器の注意を抑えるため、コアニューラルアーキテクチャの変更について検討する。
第三に、正規化フローの自然構造と、モデル知識をよりよく蒸留するためにこれらの特性をどのように活用するかを探求する。
- 参考スコア（独自算出の注目度）: 1.1557918404865375
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Major advancements in the capabilities of computer vision models have been primarily fueled by rapid expansion of datasets, model parameters, and computational budgets, leading to ever-increasing demands on computational infrastructure. However, as these models are deployed in increasingly diverse and resource-constrained environments, there is a pressing need for architectures that can deliver high performance while requiring fewer computational resources. This dissertation focuses on architectural principles through which models can achieve increased performance while reducing their computational demands. We discuss strides towards this goal through three directions. First, we focus on data ingress and egress, investigating how information may be passed into and retrieved from our core neural processing units. This ensures that our models make the most of available data, allowing smaller architectures to become more performant. Second, we investigate modifications to the core neural architecture, applied to restricted attention in vision transformers. This section explores how removing uniform context windows in restricted attention increases the expressivity of the underlying neural architecture. Third, we explore the natural structures of Normalizing Flows and how we can leverage these properties to better distill model knowledge. These contributions demonstrate that careful design of neural architectures can increase the efficiency of machine learning algorithms, allowing them to become smaller, faster, and cheaper.
- Abstract（参考訳）: コンピュータビジョンモデルの能力の大きな進歩は、主にデータセット、モデルパラメータ、計算予算の急速な拡張によって加速され、計算インフラへの需要が増大している。
しかし、これらのモデルはますます多様でリソースに制約のある環境にデプロイされるため、少ない計算資源を必要としながら高性能なアーキテクチャを実現する必要がある。
この論文は、モデルが計算要求を減らしながらパフォーマンスを向上できるというアーキテクチャの原則に焦点を当てている。
3つの方向からこの目標に向けての歩みについて議論する。
まず、データ入力とエクスグレスに注目し、コアのニューラル処理ユニットから情報がどのように渡され、取得されるかを調べます。
これにより、モデルが利用可能なデータを最大限に活用し、より小さなアーキテクチャがよりパフォーマンス良くなります。
第2に、視覚変換器の注意を抑えるため、コアニューラルアーキテクチャの変更について検討する。
本稿では,一様コンテキストウィンドウを制限された注意で除去することで,基礎となるニューラルアーキテクチャの表現性が向上する方法について考察する。
第三に、正規化フローの自然構造と、モデル知識をよりよく蒸留するためにこれらの特性をどのように活用するかを探求する。
これらのコントリビューションは、ニューラルネットワークの設計が機械学習アルゴリズムの効率を向上し、より小さく、より速く、より安価にすることができることを示している。
関連論文リスト
- On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。
本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
論文 参考訳（メタデータ） (2025-01-25T01:37:03Z) - Exploring the design space of deep-learning-based weather forecasting systems [56.129148006412855]
本稿では,異なる設計選択がディープラーニングに基づく天気予報システムに与える影響を系統的に分析する。
UNet、完全畳み込みアーキテクチャ、トランスフォーマーベースモデルなどの固定グリッドアーキテクチャについて検討する。
固定グリッドモデルの強靭な性能とグリッド不変アーキテクチャの柔軟性を組み合わせたハイブリッドシステムを提案する。
論文 参考訳（メタデータ） (2024-10-09T22:25:50Z) - Learning From Simplicial Data Based on Random Walks and 1D Convolutions [6.629765271909503]
ランダムウォークと高速1D畳み込みに基づく単純な複雑なニューラルネットワーク学習アーキテクチャ。
実世界のデータセット上でSCRaWlを実証的に評価し、他の単純なニューラルネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-04-04T13:27:22Z) - Neural Architecture Codesign for Fast Bragg Peak Analysis [1.7081438846690533]
我々は,高速かつリアルタイムなブラッグピーク解析のためのニューラルネットワーク符号の合理化のための自動パイプラインを開発した。
我々の手法では、ハードウェアコストを含むこれらのモデルを強化するために、ニューラルアーキテクチャ検索とAutoMLを使用し、よりハードウェア効率の良いニューラルアーキテクチャの発見に繋がる。
論文 参考訳（メタデータ） (2023-12-10T19:42:18Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Convolution, aggregation and attention based deep neural networks for
accelerating simulations in mechanics [1.0154623955833253]
固体の変形を効率的に学習するための3種類のニューラルネットワークアーキテクチャを実証する。
最初の2つは、最近提案されたCNN U-NETとMagNETフレームワークに基づいており、メッシュベースのデータで学習する上で有望なパフォーマンスを示している。
第3のアーキテクチャであるPerceiver IOは、注目に基づくニューラルネットワークのファミリに属する、非常に最近のアーキテクチャである。
論文 参考訳（メタデータ） (2022-12-01T13:10:56Z) - Improving Sample Efficiency of Value Based Models Using Attention and
Vision Transformers [52.30336730712544]
性能を犠牲にすることなくサンプル効率を向上させることを目的とした深層強化学習アーキテクチャを提案する。
状態表現の特徴マップ上の自己注意機構を変換器を用いて学習する視覚的注意モデルを提案する。
我々は,このアーキテクチャがいくつかのAtari環境におけるサンプルの複雑さを向上すると同時に,いくつかのゲームにおいて優れたパフォーマンスを実現することを実証的に実証した。
論文 参考訳（メタデータ） (2022-02-01T19:03:03Z) - Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets [4.276883061502341]
時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
論文 参考訳（メタデータ） (2021-07-09T22:26:50Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳（メタデータ） (2021-06-07T11:13:05Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。