論文の概要: It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing

• arxiv url: http://arxiv.org/abs/2010.09474v1
• Date: Tue, 13 Oct 2020 22:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 01:01:23.789222
• Title: It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing
• Title（参考訳）: 最適なのは、最も適している時だけです:動的局所性に敏感なハッシュに基づいてサービスするための関連モデルを見つけることです。
• Authors: Lixi Zhou, Zijie Wang, Amitabh Das, Jia Zou
• Abstract要約: トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。 本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
• 参考スコア（独自算出の注目度）: 1.581913948762905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent, deep learning has become the most popular direction in machine learning and artificial intelligence. However, preparation of training data is often a bottleneck in the lifecycle of deploying a deep learning model for production or research. Reusing models for inferencing a dataset can greatly save the human costs required for training data creation. Although there exist a number of model sharing platform such as TensorFlow Hub, PyTorch Hub, DLHub, most of these systems require model uploaders to manually specify the details of each model and model downloaders to screen keyword search results for selecting a model. They are in lack of an automatic model searching tool. This paper proposes an end-to-end process of searching related models for serving based on the similarity of the target dataset and the training datasets of the available models. While there exist many similarity measurements, we study how to efficiently apply these metrics without pair-wise comparison and compare the effectiveness of these metrics. We find that our proposed adaptivity measurement which is based on Jensen-Shannon (JS) divergence, is an effective measurement, and its computation can be significantly accelerated by using the technique of locality sensitive hashing.
• Abstract（参考訳）: 近年、ディープラーニングは機械学習と人工知能の最も一般的な方向となっている。 しかしながら、トレーニングデータの準備は、プロダクションや研究のためにディープラーニングモデルをデプロイするライフサイクルのボトルネックになることが多い。 データセットを参照するための再利用モデルは、データ生成のトレーニングに必要な人的コストを大幅に削減することができる。 tensorflow hub、pytorch hub、dlhubといったモデル共有プラットフォームは数多く存在するが、これらのシステムのほとんどは、モデルを選択するために各モデルの詳細を手動で指定し、モデルダウンロード者がキーワード検索結果を表示するためにモデルアップロードを必要とする。 自動モデル検索ツールが不足している。 本稿では,対象データセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンドツーエンドプロセスを提案する。 類似度の測定は多数存在するが、ペアで比較せずに効率的にメトリクスを適用する方法について検討し、その効果を比較する。 本研究では,Jensen-Shannon (JS) の発散に基づく適応度測定が有効であり,局所性に敏感なハッシュ技術を用いることで,その計算を著しく高速化できることを見出した。

関連論文リスト

• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• VertiBayes: Learning Bayesian network parameters from vertically partitioned data with missing values [2.9707233220536313]
  フェデレーション学習は、分散データに基づいて機械学習モデルをトレーニングすることを可能にする。 本稿では,垂直分割データ上でベイズネットワークを学習するためのVertiBayesという新しい手法を提案する。 提案手法は,従来のアルゴリズムを用いて学習したモデルに匹敵するモデルを生成する。
  論文  参考訳（メタデータ） (2022-10-31T11:13:35Z)
• Revealing Secrets From Pre-trained Models [2.0249686991196123]
  トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。 本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。 ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
  論文  参考訳（メタデータ） (2022-07-19T20:19:03Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。