論文の概要: ModelDiff: A Framework for Comparing Learning Algorithms

• arxiv url: http://arxiv.org/abs/2211.12491v1
• Date: Tue, 22 Nov 2022 18:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 16:33:54.394408
• Title: ModelDiff: A Framework for Comparing Learning Algorithms
• Title（参考訳）: modeldiff: 学習アルゴリズムを比較するフレームワーク
• Authors: Harshay Shah, Sung Min Park, Andrew Ilyas, Aleksander Madry
• Abstract要約: そこでは,2つの異なる学習アルゴリズムを用いて学習したモデルの違いを見つけることを目的とする。 トレーニングデータの使用方法に基づいて学習アルゴリズムを比較するために,データモデルフレームワークを利用するModelDiffを提案する。
• 参考スコア（独自算出の注目度）: 86.19580801269036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of (learning) algorithm comparison, where the goal is to find differences between models trained with two different learning algorithms. We begin by formalizing this goal as one of finding distinguishing feature transformations, i.e., input transformations that change the predictions of models trained with one learning algorithm but not the other. We then present ModelDiff, a method that leverages the datamodels framework (Ilyas et al., 2022) to compare learning algorithms based on how they use their training data. We demonstrate ModelDiff through three case studies, comparing models trained with/without data augmentation, with/without pre-training, and with different SGD hyperparameters. Our code is available at https://github.com/MadryLab/modeldiff .
• Abstract（参考訳）: そこでは,2つの異なる学習アルゴリズムを用いて学習したモデルの違いを見つけることを目的とする。 まず、この目標を特徴変換(つまり、ある学習アルゴリズムで訓練されたモデルの予測を変える入力変換)を区別する1つとして定式化する。 次に,datamodelsフレームワーク(ilyas et al., 2022)を活用して,トレーニングデータの使い方に基づいて学習アルゴリズムを比較する手法であるmodeldiffを提案する。 3つのケーススタディを通じてModelDiffを実演し、データ拡張、事前トレーニング、異なるSGDハイパーパラメータで訓練されたモデルを比較した。 私たちのコードはhttps://github.com/MadryLab/modeldiffで利用可能です。

関連論文リスト

• MUSO: Achieving Exact Machine Unlearning in Over-Parameterized Regimes [19.664090734076712]
  マシン・アンラーニング(MU)は、訓練されたモデルを特定のデータでトレーニングされたことがないかのように振る舞う。 本研究では,学習と学習のタスクを統一する交互最適化アルゴリズムを提案する。 このアルゴリズムの有効性は、数値実験によって確認され、様々なシナリオにおける未学習における優れた性能を強調している。
  論文  参考訳（メタデータ） (2024-10-11T06:17:17Z)
• Interpretable Differencing of Machine Learning Models [20.99877540751412]
  2つのMLモデルの出力の相似性関数の予測の1つとしてモデル差分問題の定式化を行う。 ジョイントサロゲートツリー(JST)は、この2つのモデルのための2つの連結された決定木サロゲートから構成される。 JSTは違いを直感的に表現し、モデル決定ロジックのコンテキストに変化を配置します。
  論文  参考訳（メタデータ） (2023-06-10T16:15:55Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Tree-Based Adaptive Model Learning [62.997667081978825]
  我々はKearns-Vazirani学習アルゴリズムを拡張し、時間とともに変化するシステムを扱う。 本稿では,学習前の動作を再利用し,更新し,LearnerLibライブラリに実装し,大規模な実例で評価する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T21:24:22Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• ModelDiff: Testing-Based DNN Similarity Comparison for Model Reuse Detection [9.106864924968251]
  ModelDiffは、ディープラーニングモデル類似性比較に対するテストベースのアプローチである。 モバイルディープラーニングアプリの研究は、現実世界のモデルにおけるModelDiffの可能性を示している。
  論文  参考訳（メタデータ） (2021-06-11T15:16:18Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。