論文の概要: Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability

• arxiv url: http://arxiv.org/abs/2003.13070v1
• Date: Sun, 29 Mar 2020 16:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:14:18.611539
• Title: Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability
• Title（参考訳）: ネットワークにおけるシーケンシャルトランスファー機械学習:データとニューラルネットの類似性がトランスファービリティに与える影響を計測する
• Authors: Robin Hirt, Akash Srivastava, Carlos Berg and Niklas K\"uhl
• Abstract要約: 同様の予測タスクに直面する独立したエンティティのネットワークでは、トランスファー機械学習はニューラルネットの再使用と改善を可能にする。 本研究では、6つの異なるレストランの売り上げデータからなる実世界のユースケースについて実証的研究を行った。 我々は,データのばらつき,データ投影,ニューラルネットの類似性に関する新しい指標に基づいて,転送可能性の潜在的指標を算出する。
• 参考スコア（独自算出の注目度）: 4.626261940793027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In networks of independent entities that face similar predictive tasks, transfer machine learning enables to re-use and improve neural nets using distributed data sets without the exposure of raw data. As the number of data sets in business networks grows and not every neural net transfer is successful, indicators are needed for its impact on the target performance-its transferability. We perform an empirical study on a unique real-world use case comprised of sales data from six different restaurants. We train and transfer neural nets across these restaurant sales data and measure their transferability. Moreover, we calculate potential indicators for transferability based on divergences of data, data projections and a novel metric for neural net similarity. We obtain significant negative correlations between the transferability and the tested indicators. Our findings allow to choose the transfer path based on these indicators, which improves model performance whilst simultaneously requiring fewer model transfers.
• Abstract（参考訳）: 同様の予測タスクに直面する独立したエンティティのネットワークでは、トランスファー機械学習は、生データを露光することなく、分散データセットを使用してニューラルネットワークを再利用し、改善することができる。 ビジネスネットワーク内のデータセットの数が増加し、すべてのニューラルネット転送が成功するわけではないため、ターゲットのパフォーマンス-イット転送性への影響を示す指標が必要である。 6つのレストランの販売データからなるユニークな実世界のユースケースについて実証的研究を行った。 これらのレストランの販売データを通じてニューラルネットをトレーニングし、転送可能性を測定します。 さらに、データの多様性、データ投影、ニューラルネット類似性の新しい指標に基づいて、転送可能性の潜在的指標を計算する。 移行率と測定指標との間に有意な負の相関関係が得られた。 これらの指標に基づいて転送経路を選択することができ、モデル転送を少なくしながらモデル性能を向上させることができる。

関連論文リスト

• Features are fate: a theory of transfer learning in high-dimensional regression [23.840251319669907]
  対象タスクが事前学習されたモデルの特徴空間で適切に表現されている場合、転送学習はスクラッチからトレーニングに優れることを示す。 本モデルでは, 音源と目標タスクの重なり合う特徴空間が十分に強い場合, 線形転送と微調整の両方で性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-10-10T17:58:26Z)
• Model-Based Inference and Experimental Design for Interference Using Partial Network Data [4.76518127830168]
  本稿では,部分的ネットワークデータを用いた治療効果調整の評価と推定のためのフレームワークを提案する。 部分的ネットワークデータのみを用いて治療を割り当てる手順を説明する。 本研究では,インドとマラウイにおける情報拡散と観測グラフのシミュレーション実験によるアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-17T17:27:18Z)
• MAGDiff: Covariate Data Set Shift Detection via Activation Graphs of Deep Neural Networks [8.887179103071388]
  我々は、任意のニューラルネットワーク分類器から抽出するMAGDiffと呼ばれる新しい表現群を提案する。 これらの表現は、トレーニング分布に属するサンプルと目標分布とのニューラルネットワークのアクティベーショングラフを比較して計算される。 本稿では,ネットワーク出力に依存した最先端のベースラインに対して,新しい表現が大幅な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:34:47Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Probing transfer learning with a model of synthetic correlated datasets [11.53207294639557]
  トランスファーラーニングはニューラルネットワークのサンプル効率を大幅に向上させることができる。 我々は、データセット間の相関をモデル化するためのフレームワークとして、合成データの解決可能なモデルを再考する。 本研究では,本モデルが実データを用いた伝達学習の多彩な特徴を捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-06-09T22:15:41Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
  データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。 畳み込み特徴抽出と微調整の有効性を評価する。 我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
  論文  参考訳（メタデータ） (2020-02-29T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。