論文の概要: Leveraging Pre-trained Models for Failure Analysis Triplets Generation

• arxiv url: http://arxiv.org/abs/2210.17497v1
• Date: Mon, 31 Oct 2022 17:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 16:15:34.167633
• Title: Leveraging Pre-trained Models for Failure Analysis Triplets Generation
• Title（参考訳）: 故障解析トリプレット生成のための事前学習モデルの活用
• Authors: Kenneth Ezukwoke, Anis Hoayek, Mireille Batton-Hubert, Xavier Boucher, Pascal Gounet and Jerome Adrian
• Abstract要約: 我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。 生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained Language Models recently gained traction in the Natural Language Processing (NLP) domain for text summarization, generation and question-answering tasks. This stems from the innovation introduced in Transformer models and their overwhelming performance compared with Recurrent Neural Network Models (Long Short Term Memory (LSTM)). In this paper, we leverage the attention mechanism of pre-trained causal language models such as Transformer model for the downstream task of generating Failure Analysis Triplets (FATs) - a sequence of steps for analyzing defected components in the semiconductor industry. We compare different transformer models for this generative task and observe that Generative Pre-trained Transformer 2 (GPT2) outperformed other transformer model for the failure analysis triplet generation (FATG) task. In particular, we observe that GPT2 (trained on 1.5B parameters) outperforms pre-trained BERT, BART and GPT3 by a large margin on ROUGE. Furthermore, we introduce Levenshstein Sequential Evaluation metric (LESE) for better evaluation of the structured FAT data and show that it compares exactly with human judgment than existing metrics.
• Abstract（参考訳）: 事前訓練された言語モデルは最近、テキスト要約、生成、質問応答タスクのための自然言語処理(NLP)ドメインで注目を集めた。 これはトランスフォーマーモデルに導入されたイノベーションと、リカレントニューラルネットワークモデル(long short term memory (lstm))と比較して圧倒的なパフォーマンスに由来する。 本稿では,半導体産業における欠陥成分分析の一連のステップであるFAT(Failure Analysis Triplets)を生成する下流タスクに対して,Transformerモデルなどの事前学習した因果言語モデルの注意機構を利用する。 この生成タスクの異なる変換器モデルを比較し、生成事前学習変換器2(GPT2)が故障解析三重項生成(FATG)タスクの他の変換器モデルより優れていることを観察する。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。 さらに,構造化脂肪データの評価にlebenshsteinシーケンシャル評価指標(lese)を導入し,既存の測定値と正確に人間の判断と比較した。

関連論文リスト

• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• OptAGAN: Entropy-based finetuning on text VAE-GAN [1.941730292017383]
  最近、変分オートエンコーダ(VAE)がリリースされた。 BERTとGPT-2の2つの事前訓練モデルを組み合わせている。 独創的だが、非常に人間らしい文体を創出する。
  論文  参考訳（メタデータ） (2021-09-01T08:23:19Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Pretrained Transformers as Universal Computation Engines [105.00539596788127]
  自然言語で事前学習したトランスフォーマーを,最小限の微調整で他のモダリティに一般化する能力について検討する。 本研究では, 数値計算, 視覚, タンパク質折り畳み予測にまたがる様々なシーケンス分類タスクについて, 微調整を行った。 このようなプリトレーニングにより、FPTはこれらのモダリティにゼロショットで一般化することができ、これらのタスクで完全に訓練されたトランスのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2021-03-09T06:39:56Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• On Minimum Word Error Rate Training of the Hybrid Autoregressive Transducer [40.63693071222628]
  ハイブリッド自己回帰変換器(HAT)の最小単語誤り率(MWER)訓練について検討する。 約3万時間のトレーニングデータを用いた実験から,MWERトレーニングがHATモデルの精度を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-23T21:16:30Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• Residual Energy-Based Models for Text Generation [47.53354656462756]
  トークンではなくシーケンスレベルで動作する非正規化エネルギーベースモデル(EBM)について検討する。 まず,事前訓練した局所正規化言語モデルの残差を抽出し,ノイズコントラスト推定を用いて訓練する。 2つの大規模言語モデリングデータセットに対する実験により,残余のEMMは局所正規化ベースラインよりも低いパープレキシティが得られることが示された。
  論文  参考訳（メタデータ） (2020-04-22T23:19:55Z)
• Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks [3.2442879131520126]
  本研究は,自然言語推論(NLI)と質問応答(QA)における3つのトランスフォーマーモデル(RoBERTa,XLNet,BERT)を評価する。 実験の結果,RoBERTa,XLNet,BERTはニューラルネットモデルよりも堅牢であり,NLIタスクとQAタスクの両方のストレステストが可能であることがわかった。
  論文  参考訳（メタデータ） (2020-02-14T21:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。