論文の概要: Training Transformers Together

• arxiv url: http://arxiv.org/abs/2207.03481v1
• Date: Thu, 7 Jul 2022 17:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 14:53:43.173941
• Title: Training Transformers Together
• Title（参考訳）: 変圧器を一緒に訓練する
• Authors: Alexander Borzunov, Max Ryabinin, Tim Dettmers, Quentin Lhoest, Lucile Saulnier, Michael Diskin, Yacine Jernite, Thomas Wolf
• Abstract要約: このデモでは,OpenAI DALL-Eに似たテキスト・画像変換器を共同で訓練した。 このようなトレーニングの実行に関連する,エンジニアリング上の課題に対処する方法について説明する。 得られたモデルが複数のプロンプトに対して妥当な品質の画像を生成することを示す。
• 参考スコア（独自算出の注目度）: 62.65287087770844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The infrastructure necessary for training state-of-the-art models is becoming overly expensive, which makes training such models affordable only to large corporations and institutions. Recent work proposes several methods for training such models collaboratively, i.e., by pooling together hardware from many independent parties and training a shared model over the Internet. In this demonstration, we collaboratively trained a text-to-image transformer similar to OpenAI DALL-E. We invited the viewers to join the ongoing training run, showing them instructions on how to contribute using the available hardware. We explained how to address the engineering challenges associated with such a training run (slow communication, limited memory, uneven performance between devices, and security concerns) and discussed how the viewers can set up collaborative training runs themselves. Finally, we show that the resulting model generates images of reasonable quality on a number of prompts.
• Abstract（参考訳）: 最先端モデルのトレーニングに必要なインフラストラクチャは過大に高くなり、大企業や機関にのみ手頃な価格でトレーニングできるようになっている。 近年の研究では、多くの独立政党からハードウェアをプールし、インターネット上で共有モデルをトレーニングすることで、そのようなモデルを協調的にトレーニングする方法が提案されている。 このデモでは,OpenAI DALL-Eに似たテキスト・画像変換器を共同で訓練した。 私たちは視聴者に、利用可能なハードウェアを使ってコントリビュートする方法を指示して、現在進行中のトレーニングランに参加するように招待しました。 このようなトレーニング実行に関連するエンジニアリング上の課題(通信速度の低下、メモリの制限、デバイス間の不均一なパフォーマンス、セキュリティ上の懸念)に対処する方法について説明し、視聴者がどのようにコラボレーティブなトレーニングを実行するかを論じた。 最後に,結果のモデルが,複数のプロンプトに対して妥当な品質の画像を生成することを示す。

関連論文リスト

• Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond [51.141270065306514]
  このチュートリアルは、マルチモーダルAIを活用するための知識とスキルを研究者、実践者、新参者に提供することを目的としている。 最新のマルチモーダルデータセットと事前訓練されたモデル、例えばビジョンや言語以外のものについても取り上げる。 ハンズオン実験室は、最先端のマルチモーダルモデルで実践的な経験を提供する。
  論文  参考訳（メタデータ） (2024-10-08T01:41:56Z)
• MSfusion: A Dynamic Model Splitting Approach for Resource-Constrained Machines to Collaboratively Train Larger Models [16.012249716875132]
  我々は,資源制約マシン上で大規模モデルを学習するための,効果的かつ効率的な協調学習フレームワークであるMSfusionを紹介する。 各トレーニングラウンドでは、各参加者は、ローカルデータをトレーニングするためにモデルパラメータのサブセットを割り当て、共通のパラメータ上の他のピアのサブモデルで集約される。 画像およびNLPタスクの実験は、大規模モデルのトレーニングにおいて、MSfusionの性能と効率において重要な利点を示す。
  論文  参考訳（メタデータ） (2024-07-04T04:06:24Z)
• A Multi-Level Framework for Accelerating Training Transformer Models [5.268960238774481]
  大規模ディープラーニングモデルの訓練は、コンピューティングパワーに対する前例のない需要をもたらしている。 本稿では,Coalescing, De-Coalescing, Interpolation に基づく,加速度のトレーニングのためのマルチレベルフレームワークを提案する。 提案手法は,BERT/GPT-Baseモデルのトレーニングにおいて約20%,BERT-Largeモデルのトレーニングにおいて最大51.6%のコスト削減を実現する。
  論文  参考訳（メタデータ） (2024-04-07T03:04:34Z)
• One-stop Training of Multiple Capacity Models [74.87789190840527]
  本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。 複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
  論文  参考訳（メタデータ） (2023-05-23T13:44:09Z)
• Dive into Big Model Training [6.809653573125388]
  トレーニングの目的は、Webスケールのデータを活用して、非常に有能で信じられないほど大きなモデルを開発する方法を説明する。 分散トレーニングに基づくトレーニング手法は、大規模なモデルトレーニングを現実にする方法を説明する。
  論文  参考訳（メタデータ） (2022-07-25T05:38:39Z)
• Challenges and Obstacles Towards Deploying Deep Learning Models on Mobile Devices [1.422288795020666]
  ディープラーニングモデルは、多くの高レベルのジェネリックフレームワークとライブラリを使って開発されている。 モバイルデバイス上でモデルを実行するには、ハードウェアによる最適化が必要です。 本稿では,モバイルデバイスにディープラーニングモデルをデプロイするための既存の課題,障害,実践的ソリューションについて述べる。
  論文  参考訳（メタデータ） (2021-05-06T12:40:28Z)
• Pre-Trained Image Processing Transformer [95.93031793337613]
  我々は、新しい事前学習モデル、すなわち、画像処理変換器(IPT)を開発する。 本稿では、よく知られたImageNetベンチマークを用いて、大量の画像ペアを生成する。 IPTモデルは、これらの画像をマルチヘッドとマルチテールでトレーニングする。
  論文  参考訳（メタデータ） (2020-12-01T09:42:46Z)
• SplitEasy: A Practical Approach for Training ML models on Mobile Devices [4.280248134477515]
  分割学習は、低消費電力モバイルデバイス上で複雑なディープラーニング(DL)モデルをトレーニングするための有望なテクニックである。 スプリットラーニングを用いてモバイルデバイス上でMLモデルをトレーニングするフレームワークであるSplitEasyを提案する。 SplitEasyは、モバイルデバイスでのみトレーニングできないモデルをトレーニングし、データサンプル毎にほぼ一定時間実行できるようにする。
  論文  参考訳（メタデータ） (2020-11-09T07:41:43Z)
• A Deeper Look at Salient Object Detection: Bi-stream Network with a Small Training Dataset [62.26677215668959]
  4K画像のみを含む新しい小規模トレーニングセットを構築するための実現可能な方法を提案する。 提案する小型トレーニングセットをフル活用するために,新しい双方向ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-08-07T01:24:33Z)
• UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation [76.12027504427708]
  本稿では,マルチモーダル理解と生成のためのUnified Video and Language事前学習モデルUniVLを提案する。 2つのシングルモーダルエンコーダ、クロスエンコーダ、トランスフォーマーバックボーンを備えたデコーダを含む4つのコンポーネントから構成される。 ステージバイステージ事前学習(StagedP)と拡張ビデオ表現(EnhancedV)の2つの事前学習戦略を開発し、UniVLのトレーニングプロセスをより効果的にする。
  論文  参考訳（メタデータ） (2020-02-15T10:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。