論文の概要: Compact Model Parameter Extraction via Derivative-Free Optimization

• arxiv url: http://arxiv.org/abs/2406.16355v2
• Date: Mon, 11 Nov 2024 20:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:16:06.596530
• Title: Compact Model Parameter Extraction via Derivative-Free Optimization
• Title（参考訳）: 微分自由最適化によるコンパクトモデルパラメータ抽出
• Authors: Rafael Perez Martinez, Masaya Iwamoto, Kelly Woo, Zhengliang Bian, Roberto Tinti, Stephen Boyd, Srabanti Chowdhury,
• Abstract要約: 伝統的に、パラメータの完全なセットを小さなサブセットに分割することで、パラメータ抽出を手動で行う。 我々は、微分自由最適化を用いて、完全な数のシミュレーションを行うことなく、コンパクトモデルに最もよく適合する優れたパラメータ集合を同定する。 本研究では,SPICEダイオードモデルとASM-HEMTモデルを用いたGaN-on-SiC HEMTによるダイヤモンドショットキーダイオードのモデル化により,本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we address the problem of compact model parameter extraction to simultaneously extract tens of parameters via derivative-free optimization. Traditionally, parameter extraction is performed manually by dividing the complete set of parameters into smaller subsets, each targeting different operational regions of the device, a process that can take several days or weeks. Our approach streamlines this process by employing derivative-free optimization to identify a good parameter set that best fits the compact model without performing an exhaustive number of simulations. We further enhance the optimization process to address three critical issues in device modeling by carefully choosing a loss function that focuses on relative errors rather than absolute errors to ensure consistent performance across different orders of magnitude, prioritizes accuracy in key operational regions above a specific threshold, and reduces sensitivity to outliers. Furthermore, we utilize the concept of train-test split to assess the model fit and avoid overfitting. We demonstrate the effectiveness of our approach by successfully modeling a diamond Schottky diode with the SPICE diode model and a GaN-on-SiC HEMT with the ASM-HEMT model. For the latter, which involves extracting 35 parameters for the ASM-HEMT DC model, we identified the best set of parameters in under 6,000 trials. Additional examples using both devices are provided to demonstrate robustness to outliers, showing that an excellent fit is achieved even with over 25% of the data purposely corrupted. These examples demonstrate the practicality of our approach, highlighting the benefits of derivative-free optimization in device modeling.
• Abstract（参考訳）: 本稿では,微分自由度最適化によるパラメータの抽出を同時に行うために,コンパクトモデルパラメータ抽出の問題に対処する。 従来、パラメータ抽出は、パラメータの完全なセットを小さなサブセットに分割することで手動で行われる。 提案手法は、微分自由最適化を用いて、完全数のシミュレーションを行わずに、コンパクトモデルに最もよく適合する優れたパラメータセットを特定することによって、このプロセスを合理化する。 さらに、絶対誤差よりも相対誤差に着目した損失関数を慎重に選択することで、デバイスモデリングにおける3つの重要な問題に対処する最適化プロセスを強化する。 さらに,列車-テスト分割の概念を利用して,モデル適合性を評価し,過度な適合を避ける。 本研究では,SPICEダイオードモデルを用いたダイヤモンドショットキーダイオードとASM-HEMTモデルを用いたGaN-on-SiC HEMTの有効性を示す。 後者では, ASM-HEMT DCモデルのパラメータを35個抽出し, 6,000回未満の試験において, 最適なパラメータ群を同定した。 両方のデバイスを使用した追加の例は、アウトレーヤに対して堅牢性を示すために提供されており、データ25%以上が意図的に破損しても、優れた適合性が得られることを示している。 これらの例は、デバイスモデリングにおける微分自由最適化の利点を浮き彫りにして、我々のアプローチの実用性を示している。

関連論文リスト

• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Crafting Efficient Fine-Tuning Strategies for Large Language Models [2.633490094119608]
  200サンプル未満の細調整された大型言語モデル(LLM)は、製品属性抽出タスクにおいて、モデル精度を70%から88%に向上させることができる。 トレーニング時間全体の20%のモデルを評価するベイズハイパーパラメータ最適化法は,最終的なモデル性能と強く相関する。 このアプローチにより、独立したテストセットで評価すると、ベースラインモデルよりも精度が2%向上した。
  論文  参考訳（メタデータ） (2024-07-18T21:36:00Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Simulated Overparameterization [35.12611686956487]
  SOP(Simulated Overparametrization)と呼ばれる新しいパラダイムを導入する。 SOPは、モデルトレーニングと推論に対するユニークなアプローチを提案し、パラメータのより小さく効率的なサブセットが推論中の実際の計算に使用されるように、非常に多くのパラメータを持つモデルを訓練する。 本稿では,トランスフォーマーモデルを含む主要なアーキテクチャとシームレスに統合する,新しいアーキテクチャ非依存のアルゴリズム"Majority kernels"を提案する。
  論文  参考訳（メタデータ） (2024-02-07T17:07:41Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Active-Learning-Driven Surrogate Modeling for Efficient Simulation of Parametric Nonlinear Systems [0.0]
  支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。 我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。 カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-09T18:01:14Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Approximate Bayesian Computation for Physical Inverse Modeling [0.32771631221674324]
  本稿では,モデルパラメータ抽出プロセスを自動化する手法を提案する。 その結果, 勾配木を用いた移動曲線から抽出したパラメータを正確に予測できることが示唆された。 この研究は、提案したフレームワークと微調整されたニューラルネットワークの比較分析も提供し、提案したフレームワークの性能が向上することが示されている。
  論文  参考訳（メタデータ） (2021-11-26T02:23:05Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。