論文の概要: Compact Model Parameter Extraction via Derivative-Free Optimization

• arxiv url: http://arxiv.org/abs/2406.16355v1
• Date: Mon, 24 Jun 2024 06:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 15:53:24.613758
• Title: Compact Model Parameter Extraction via Derivative-Free Optimization
• Title（参考訳）: 微分自由最適化によるコンパクトモデルパラメータ抽出
• Authors: Rafael Perez Martinez, Masaya Iwamoto, Kelly Woo, Zhengliang Bian, Roberto Tinti, Stephen Boyd, Srabanti Chowdhury,
• Abstract要約: 伝統的に、パラメータの完全なセットを小さなサブセットに分割することで、パラメータ抽出を手動で行う。 我々は、微分自由最適化を用いて、完全な数のシミュレーションを行うことなく、コンパクトモデルに最もよく適合する優れたパラメータ集合を同定する。 2つの半導体デバイスをうまくモデリングし,本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the problem of compact model parameter extraction to simultaneously extract tens of parameters via derivative-free optimization. Traditionally, parameter extraction is performed manually by dividing the complete set of parameters into smaller subsets, each targeting different operational regions of the device, a process that can take several days or even weeks. Our approach streamlines this process by employing derivative-free optimization to identify a good parameter set that best fits the compact model without performing an exhaustive number of simulations. We further enhance the optimization process to address critical issues in device modeling by carefully choosing a loss function that evaluates model performance consistently across varying magnitudes by focusing on relative errors (as opposed to absolute errors), prioritizing accuracy in key operational regions of the device above a certain threshold, and reducing sensitivity to outliers. Furthermore, we utilize the concept of train-test split to assess the model fit and avoid overfitting. This is done by fitting 80% of the data and testing the model efficacy with the remaining 20%. We demonstrate the effectiveness of our methodology by successfully modeling two semiconductor devices: a diamond Schottky diode and a GaN-on-SiC HEMT, with the latter involving the ASM-HEMT DC model, which requires simultaneously extracting 35 model parameters to fit the model to the measured data. These examples demonstrate the effectiveness of our approach and showcase the practical benefits of derivative-free optimization in device modeling.
• Abstract（参考訳）: 本稿では,微分自由度最適化によるパラメータの抽出を同時に行うために,コンパクトモデルパラメータ抽出の問題に対処する。 従来、パラメータ抽出は、パラメータの完全なセットを小さなサブセットに分割することで手動で行われる。 提案手法は、微分自由最適化を用いて、完全数のシミュレーションを行わずに、コンパクトモデルに最もよく適合する優れたパラメータセットを特定することによって、このプロセスを合理化する。 さらに、相対誤差(絶対誤差とは対照的に)に着目してモデル性能を連続的に評価する損失関数を慎重に選択し、一定の閾値を超えるデバイスの重要動作領域における精度を優先順位付けし、外れ値に対する感度を低下させることにより、デバイスモデリングにおける重要な問題に対処する最適化プロセスをさらに強化する。 さらに,列車-テスト分割の概念を利用して,モデル適合性を評価し,過度な適合を避ける。 これは、80%のデータを適合させ、残りの20%でモデルの有効性をテストすることで実現される。 ASM-HEMT DCモデルを含むダイヤモンドショットキーダイオードとGaN-on-SiC HEMTの2つの半導体デバイスをモデル化し,本手法の有効性を実証した。 これらの例は,本手法の有効性を示すとともに,デバイスモデリングにおける微分自由最適化の実用的メリットを示すものである。

関連論文リスト

• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Sine Activated Low-Rank Matrices for Parameter Efficient Learning [25.12262017296922]
  低ランク分解過程に正弦波関数を統合する新しい理論枠組みを提案する。 我々の手法は、視覚変換器(ViT)、Large Language Models(LLM)、NeRF(Neural Radiance Fields)において、既存の低ランクモデルの強化を証明している。
  論文  参考訳（メタデータ） (2024-03-28T08:58:20Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Active-Learning-Driven Surrogate Modeling for Efficient Simulation of Parametric Nonlinear Systems [0.0]
  支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。 我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。 カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-09T18:01:14Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.24999406296867]
  標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2022-03-14T07:56:32Z)
• On the Parameter Combinations That Matter and on Those That do Not [0.0]
  モデルパラメータの非識別性を特徴付けるためのデータ駆動型手法を提案する。 Diffusion Mapsとその拡張を利用することで、動的出力の振る舞いを特徴づけるために必要なパラメータの最小の組み合わせを発見する。
  論文  参考訳（メタデータ） (2021-10-13T13:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。