論文の概要: Finding Materialized Models for Model Reuse

• arxiv url: http://arxiv.org/abs/2110.06532v5
• Date: Thu, 1 Jun 2023 14:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 02:22:10.542006
• Title: Finding Materialized Models for Model Reuse
• Title（参考訳）: モデル再利用のための物質モデル探索
• Authors: Minjun Zhao, Lu Chen, Keyu Yang, Yuntao Du, Yunjun Gao
• Abstract要約: 物質化モデルクエリは、モデル再利用の初期モデルとして最も適切な物質化モデルを見つけることを目的としている。 提案するTextsfMMQは,オープンソースフリーで,汎用的で,効率的で,効果的なモデルクエリフレームワークである。 実用的なモデル再利用ワークロードの実験では、textsfMMQの有効性と効率が示されている。
• 参考スコア（独自算出の注目度）: 20.97918143614477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Materialized model query aims to find the most appropriate materialized model as the initial model for model reuse. It is the precondition of model reuse, and has recently attracted much attention. {Nonetheless, the existing methods suffer from the need to provide source data, limited range of applications, and inefficiency since they do not construct a suitable metric to measure the target-related knowledge of materialized models. To address this, we present \textsf{MMQ}, a source-data free, general, efficient, and effective materialized model query framework.} It uses a Gaussian mixture-based metric called separation degree to rank materialized models. For each materialized model, \textsf{MMQ} first vectorizes the samples in the target dataset into probability vectors by directly applying this model, then utilizes Gaussian distribution to fit for each class of probability vectors, and finally uses separation degree on the Gaussian distributions to measure the target-related knowledge of the materialized model. Moreover, we propose an improved \textsf{MMQ} (\textsf{I-MMQ}), which significantly reduces the query time while retaining the query performance of \textsf{MMQ}. Extensive experiments on a range of practical model reuse workloads demonstrate the effectiveness and efficiency of \textsf{MMQ}.
• Abstract（参考訳）: 物質化モデルクエリは、モデル再利用の初期モデルとして最も適切な物質化モデルを見つけることを目的としている。 これはモデル再利用の前提条件であり、最近多くの注目を集めている。 それにもかかわらず、既存の手法は、物質化モデルのターゲット関連知識を測定するための適切な指標を構築していないため、ソースデータ、限られた範囲のアプリケーション、非効率性を提供する必要がある。 これに対処するために,我々は,ソースデータフリーで汎用的,効率的,効率的なモデルクエリフレームワークである \textsf{mmq} を提案する。 これは、分離度と呼ばれるガウス混合計量を用いて、物質化されたモデルをランク付けする。 各物質化モデルについて、まずこのモデルを直接適用してターゲットデータセットのサンプルを確率ベクトルにベクトル化し、その後、ガウス分布を用いて各確率ベクトルのクラスに適合し、最終的にガウス分布上の分離度を用いて物質化モデルのターゲット関連知識を測定する。 さらに,改良された \textsf{MMQ} (\textsf{I-MMQ}) を提案する。 実用的モデル再利用ワークロードの広範囲な実験は、 \textsf{mmq}の有効性と効率を示している。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Multidimensional Item Response Theory in the Style of Collaborative Filtering [0.8057006406834467]
  本稿では,多次元項目応答理論(MIRT)に対する機械学習手法を提案する。 協調フィルタリングに触発されて、多くのMIRTモデルを含むモデルの一般的なクラスを定義します。 本稿では, 個人モデルとクロスバリデーションを推定し, 最適動作モデルを選択するために, ペナル化結合最大度(JML)の使用について論じる。
  論文  参考訳（メタデータ） (2023-01-03T00:56:27Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。