論文の概要: Toward Efficient Transfer Learning in 6G

• arxiv url: http://arxiv.org/abs/2107.05728v1
• Date: Mon, 12 Jul 2021 20:46:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-15 02:33:44.819248
• Title: Toward Efficient Transfer Learning in 6G
• Title（参考訳）: 6Gにおける効率的な伝達学習に向けて
• Authors: Saeedeh Parsaeefard and Alberto Leon-Garcia
• Abstract要約: トランスファーラーニング(TL)は,多様な学習アルゴリズム間の知識の共有を通じて課題に対処する,有望なアプローチである。 6Gのインフラストラクチャ,アプリケーション,管理,トレーニングプレーンがTLにどのように適応できるかを示す。
• 参考スコア（独自算出の注目度）: 7.013072937051018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 6G networks will greatly expand the support for data-oriented, autonomous applications for over the top (OTT) and networking use cases. The success of these use cases will depend on the availability of big data sets which is not practical in many real scenarios due to the highly dynamic behavior of systems and the cost of data collection procedures. Transfer learning (TL) is a promising approach to deal with these challenges through the sharing of knowledge among diverse learning algorithms. with TL, the learning rate and learning accuracy can be considerably improved. However, there are implementation challenges to efficiently deploy and utilize TL in 6G. In this paper, we initiate this discussion by providing some performance metrics to measure the TL success. Then, we show how infrastructure, application, management, and training planes of 6G can be adapted to handle TL. We provide examples of TL in 6G and highlight the spatio-temporal features of data in 6G that can lead to efficient TL. By simulation results, we demonstrate how transferring the quantized neural network weights between two use cases can make a trade-off between overheads and performance and attain more efficient TL in 6G. We also provide a list of future research directions in TL for 6G.
• Abstract（参考訳）: 6Gネットワークは、トップ(OTT)およびネットワークユースケースに対するデータ指向で自律的なアプリケーションのサポートを大幅に拡大する。 これらのユースケースの成功は、システムの非常にダイナミックな振る舞いとデータ収集手順のコストのため、多くの実シナリオでは実用的ではないビッグデータセットの可用性に依存する。 転送学習(tl)は、様々な学習アルゴリズム間で知識を共有することによって、これらの課題に対処するための有望なアプローチである。 TLでは学習率と学習精度が大幅に向上する。 しかし、tlを6gで効率的にデプロイして利用する実装上の課題がある。 本稿では,TL成功度を測定するためのパフォーマンス指標を提供することで,この議論を開始する。 次に,6gのインフラストラクチャ,アプリケーション,管理,トレーニングプレーンがtlに対応可能であることを示す。 6G における TL の例を示し,効率的な TL に繋がる 6G におけるデータの時空間的特徴を強調した。 シミュレーションの結果,2つのユースケース間の量子化ニューラルネットワーク重みの伝達が,オーバーヘッドとパフォーマンスのトレードオフを生み出し,6gでより効率的なtlを実現することを実証した。 6GのTLにおける今後の研究方向の一覧も提供する。

関連論文リスト

• ScaLearn: Simple and Highly Parameter-Efficient Task Transfer by Learning to Scale [19.737036958820134]
  MTL (Multi-task Learning) は、非常に実用的な利点を示している。 AdapterFusionのような最近の手法は、問題を2つの異なる段階に構造化する。 ScaLearnは単純かつパラメータ効率の高い2段階MTL法である。
  論文  参考訳（メタデータ） (2023-10-02T14:01:36Z)
• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• Offline Q-Learning on Diverse Multi-Task Data Both Scales And Generalizes [100.69714600180895]
  オフラインのQ-ラーニングアルゴリズムは、モデルキャパシティでスケールする強力なパフォーマンスを示す。 最大8000万のパラメータネットワークを用いて,40のゲームに対してほぼ人間に近いパフォーマンスで1つのポリシーをトレーニングする。 リターン条件付き教師付きアプローチと比較して、オフラインQラーニングはモデルキャパシティと同様にスケールし、特にデータセットが最適以下である場合にはパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2022-11-28T08:56:42Z)
• When & How to Transfer with Transfer Learning [0.0]
  ディープラーニングでは、画像関連タスクを扱う際には、転送学習(TL)が事実上のアプローチになっている。 深層表現を再利用することにより、TLは、限られたデータ可用性、限られた計算資源、および/または人間の専門家への限られたアクセスを持つドメインでの深部モデルの使用を可能にする。 本稿では,TLを実験的に評価し,性能,環境フットプリント,人的時間,計算要件に関するトレードオフについて検討する。
  論文  参考訳（メタデータ） (2022-11-08T16:12:41Z)
• When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning [15.39115079099451]
  近年,自然言語処理における伝達学習(TL)への関心が高まっている。 微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。 GLUEデータセットの包括的解析において,3つのTL手法を比較した。
  論文  参考訳（メタデータ） (2022-05-17T06:48:45Z)
• On The Transferability of Deep-Q Networks [6.822707222147354]
  Transfer Learningは、ディープニューラルネットワークのトレーニングの成功を特徴付けるハードルを克服することのできる、効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクセット上での転送可能性について検討する。
  論文  参考訳（メタデータ） (2021-10-06T10:29:37Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Transfer Learning for Future Wireless Networks: A Comprehensive Survey [49.746711269488515]
  本稿では,無線ネットワークにおける転送学習の応用に関する包括的調査を行う。 まず,形式的定義,分類,様々な種類のtl技術を含むtlの概要について述べる。 次に,無線ネットワークにおける新たな課題に対処するために,多様なTLアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-15T14:19:55Z)
• A Tutorial on Ultra-Reliable and Low-Latency Communications in 6G: Integrating Domain Knowledge into Deep Learning [115.75967665222635]
  超信頼性・低レイテンシ通信(URLLC)は、様々な新しいミッションクリティカルなアプリケーションの開発の中心となる。 ディープラーニングアルゴリズムは、将来の6GネットワークでURLLCを実現する技術を開発するための有望な方法と考えられている。 このチュートリアルでは、URLLCのさまざまなディープラーニングアルゴリズムにドメイン知識を組み込む方法について説明する。
  論文  参考訳（メタデータ） (2020-09-13T14:53:01Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。