論文の概要: A Generic Approach for Statistical Stability in Model Distillation

• arxiv url: http://arxiv.org/abs/2211.12631v1
• Date: Tue, 22 Nov 2022 23:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 14:23:10.495038
• Title: A Generic Approach for Statistical Stability in Model Distillation
• Title（参考訳）: モデル蒸留における統計安定性の汎用的アプローチ
• Authors: Yunzhe Zhou, Peiru Xu, Giles Hooker
• Abstract要約: 平均損失に対する中心極限定理に基づく安定モデル蒸留のための汎用的アプローチを開発する。 提案手法を、決定木、転倒規則リスト、記号回帰という3つのよく使われる無知モデルに適用する。
• 参考スコア（独自算出の注目度）: 2.457924087844968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model distillation has been a popular method for producing interpretable machine learning. It uses an interpretable "student" model to mimic the predictions made by the black box "teacher" model. However, when the student model is sensitive to the variability of the data sets used for training, the corresponded interpretation is not reliable. Existing strategies stabilize model distillation by checking whether a large enough corpus of pseudo-data is generated to reliably reproduce student models, but methods to do so have so far been developed for a specific student model. In this paper, we develop a generic approach for stable model distillation based on central limit theorem for the average loss. We start with a collection of candidate student models and search for candidates that reasonably agree with the teacher. Then we construct a multiple testing framework to select a corpus size such that the consistent student model would be selected under different pseudo sample. We demonstrate the application of our proposed approach on three commonly used intelligible models: decision trees, falling rule lists and symbolic regression. Finally, we conduct simulation experiments on Mammographic Mass and Breast Cancer datasets and illustrate the testing procedure throughout a theoretical analysis with Markov process.
• Abstract（参考訳）: モデル蒸留は解釈可能な機械学習を製造する一般的な方法である。 black box "teacher" モデルによる予測を模倣するために、解釈可能な "sudent" モデルを使用する。 しかし、トレーニングに使用するデータセットの変動性に学生モデルが敏感な場合、対応する解釈は信頼できない。 既存手法は,学生モデルを確実に再現するために,擬似データの大規模なコーパスが生成されるかどうかを確認することによって,モデルの蒸留を安定化させるが,これまでは特定の学生モデルのために方法が開発されてきた。 本稿では, 平均損失に対する中心極限定理に基づく安定モデル蒸留のための汎用的アプローチを開発する。 まず、候補者モデルの収集と、教師に合理的に同意する候補者の検索から始める。 次に、複数のテストフレームワークを構築し、一貫性のある学生モデルが異なる擬似サンプルで選択されるようにコーパスサイズを選択する。 提案手法を, 決定木, 落下ルールリスト, 記号回帰という, 一般的な3つのモデルに適用した。 最後に, マンモグラフィと乳癌のデータセットのシミュレーション実験を行い, マルコフ過程を用いた理論的解析を通して, 検査手順について解説する。

関連論文リスト

• Dual Student Networks for Data-Free Model Stealing [79.67498803845059]
  主な課題は、パラメータにアクセスせずにターゲットモデルの勾配を推定し、多様なトレーニングサンプルを生成することである。 そこで本研究では,2人の学生が左右対称に学習し,学生が反対するサンプルを生成するための基準を提案する。 我々の新しい最適化フレームワークは、目標モデルのより正確な勾配推定と、ベンチマーク分類データセットの精度向上を提供する。
  論文  参考訳（メタデータ） (2023-09-18T18:11:31Z)
• Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
  本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。 モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
  論文  参考訳（メタデータ） (2023-05-23T09:46:54Z)
• Model-based micro-data reinforcement learning: what are the crucial model properties and which model to choose? [0.2836066255205732]
  我々は,マイクロデータモデルに基づく強化学習(MBRL)に寄与する。 マルチモーダルな後続予測を必要とする環境では、混合密度ネットは他のモデルよりも大きなマージンで優れていることがわかった。 また、決定論的モデルは同等であり、実際、確率論的モデルよりも一貫して(非目立ったことではないが)優れていることも見出した。
  論文  参考訳（メタデータ） (2021-07-24T11:38:25Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)
• Symbolic Regression Driven by Training Data and Prior Knowledge [0.0]
  シンボリック回帰では、分析モデルの探索は、トレーニングデータサンプルで観測された予測誤差によって純粋に駆動される。 本稿では、学習データと所望のモデルが示す特性の事前知識の両方によって駆動される多目的的シンボリック回帰手法を提案する。
  論文  参考訳（メタデータ） (2020-04-24T19:15:06Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。