論文の概要: The Grand Illusion: The Myth of Software Portability and Implications for ML Progress

• arxiv url: http://arxiv.org/abs/2309.07181v1
• Date: Tue, 12 Sep 2023 22:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 17:29:14.233014
• Title: The Grand Illusion: The Myth of Software Portability and Implications for ML Progress
• Title（参考訳）: The Grand Illusion: The Myth of Software Portability and Implications for ML Progress
• Authors: Fraser Mince, Dzung Dinh, Jonas Kgomo, Neil Thompson, Sara Hooker
• Abstract要約: 我々は、さまざまなハードウェアタイプにわたるメインストリームMLフレームワークのポータビリティについて、大規模な研究を行っている。 フレームワークは他のハードウェアに移植すると、主要な機能の40%以上を失う可能性がある。 この結果から,ハードウェアの専門化が機械学習研究のイノベーションを妨げることが示唆された。
• 参考スコア（独自算出の注目度）: 4.855502010124377
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pushing the boundaries of machine learning often requires exploring different hardware and software combinations. However, the freedom to experiment across different tooling stacks can be at odds with the drive for efficiency, which has produced increasingly specialized AI hardware and incentivized consolidation around a narrow set of ML frameworks. Exploratory research can be restricted if software and hardware are co-evolving, making it even harder to stray away from mainstream ideas that work well with popular tooling stacks. While this friction increasingly impacts the rate of innovation in machine learning, to our knowledge the lack of portability in tooling has not been quantified. In this work, we ask: How portable are popular ML software frameworks? We conduct a large-scale study of the portability of mainstream ML frameworks across different hardware types. Our findings paint an uncomfortable picture -- frameworks can lose more than 40% of their key functions when ported to other hardware. Worse, even when functions are portable, the slowdown in their performance can be extreme and render performance untenable. Collectively, our results reveal how costly straying from a narrow set of hardware-software combinations can be - and suggest that specialization of hardware impedes innovation in machine learning research.
• Abstract（参考訳）: 機械学習の境界を押し上げるには、しばしば異なるハードウェアとソフトウェアの組み合わせを探索する必要がある。 しかし、さまざまなツールスタックをまたいで実験する自由は、効率向上の原動力と矛盾する可能性がある。 探索的な研究は、ソフトウェアとハードウェアが共進化している場合に制限され、一般的なツールスタックでうまく機能する主流のアイデアから離れることがさらに難しくなる。 この摩擦は機械学習のイノベーションの速度にますます影響しますが、私たちの知る限り、ツールのポータビリティの欠如は定量化されていません。 一般的なMLソフトウェアフレームワークはどの程度ポータブルなのでしょうか? 我々は,様々なハードウェアタイプにわたる主流mlフレームワークの可搬性に関する大規模研究を行っている。 フレームワークは、他のハードウェアに移植されると、主要な機能の40%以上を失う可能性がある。 さらに悪いことに、関数がポータブルであっても、パフォーマンスのスローダウンは極端であり、パフォーマンスを維持できない。 総じて,ハードウェアとソフトウェアの組み合わせの狭い部分から,いかにコストがかかるかを明らかにするとともに,ハードウェアの特殊化が機械学習研究のイノベーションを妨げることを示唆する。

関連論文リスト

• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• On The Fairness Impacts of Hardware Selection in Machine Learning [47.64314140984432]
  本稿では,ハードウェアがモデル性能と公平性の微妙なバランスに与える影響について検討する。 ハードウェアの選択が既存の格差を悪化させる可能性を示し、これらの相違は、異なる階層群間での勾配流と損失面の変化に起因することを示した。
  論文  参考訳（メタデータ） (2023-12-06T20:24:17Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• A review of TinyML [0.0]
  TinyMLの組み込み機械学習の概念は、このような多様性を、通常のハイエンドアプローチからローエンドアプリケーションへと押し上げようとしている。 TinyMLは、機械学習、ソフトウェア、ハードウェアの統合において、急速に拡大する学際的なトピックである。 本稿では,TinyMLがいくつかの産業分野,その障害,その将来的な範囲にどのようなメリットをもたらすのかを考察する。
  論文  参考訳（メタデータ） (2022-11-05T06:02:08Z)
• Flashlight: Enabling Innovation in Tools for Machine Learning [50.63188263773778]
  私たちは、機械学習ツールやシステムの革新を促進するために構築されたオープンソースのライブラリであるFlashlightを紹介します。 Flashlightは、広く使われているライブラリを下流で活用し、機械学習とシステム研究者をより緊密に連携させる研究を可能にするツールだと考えています。
  論文  参考訳（メタデータ） (2022-01-29T01:03:29Z)
• Learned Hardware/Software Co-Design of Neural Accelerators [20.929918108940093]
  ディープラーニングソフトウェアスタックとハードウェアアクセラレータは多様で広大な。 以前の作業では、ハードウェアアーキテクチャとは別途ソフトウェア最適化を検討し、検索スペースを効果的に削減した。 本稿では,ハードウェア/ソフトウェアの共同設計として,共同設計空間における望ましい点を自動的に識別することを目的としている。
  論文  参考訳（メタデータ） (2020-10-05T15:12:52Z)
• MLOS: An Infrastructure for Automated Software Performance Engineering [14.244308246225744]
  MLOSは,ソフトウェアパフォーマンスエンジニアリングを民主化する,MLベースのインフラストラクチャと方法論である。 MLOSは、継続的、インスタンスレベル、堅牢で、追跡可能なシステムの最適化を可能にする。 MLOSのコアインフラストラクチャをオープンソース化する過程で、私たちは学術機関と協業して、Software 2.0とMLOSのアイデアに関する教育プログラムを作成しています。
  論文  参考訳（メタデータ） (2020-06-01T22:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。