論文の概要: Improving Requirements Completeness: Automated Assistance through Large Language Models

• arxiv url: http://arxiv.org/abs/2308.03784v1
• Date: Thu, 3 Aug 2023 19:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 15:11:21.080607
• Title: Improving Requirements Completeness: Automated Assistance through Large Language Models
• Title（参考訳）: 要件完全性を改善する - 大規模言語モデルによる自動支援
• Authors: Dipeeka Luitel, Shabnam Hassani, Mehrdad Sabetzadeh
• Abstract要約: BERTのマスク付き言語モデルを用いて,要求条件におけるマスク付きスロットを埋めるためのコンテキスト化された予測を生成する。 不完全性をシミュレートするために、要件からコンテンツを取り除き、開示されたコンテンツに存在しないコンテンツに存在する用語を予測するBERTの能力を評価する。 その結果, (1) BERTの予測は, 要件から外れた用語を効果的に強調し, (2) BERTは, 関連性があるが欠落している用語を識別する上で, より単純なベースラインを上回り, (3) フィルタは予測のノイズを著しく低減することがわかった。
• 参考スコア（独自算出の注目度）: 2.9575242565495774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language (NL) is arguably the most prevalent medium for expressing systems and software requirements. Detecting incompleteness in NL requirements is a major challenge. One approach to identify incompleteness is to compare requirements with external sources. Given the rise of large language models (LLMs), an interesting question arises: Are LLMs useful external sources of knowledge for detecting potential incompleteness in NL requirements? This article explores this question by utilizing BERT. Specifically, we employ BERT's masked language model (MLM) to generate contextualized predictions for filling masked slots in requirements. To simulate incompleteness, we withhold content from the requirements and assess BERT's ability to predict terminology that is present in the withheld content but absent in the disclosed content. BERT can produce multiple predictions per mask. Our first contribution is determining the optimal number of predictions per mask, striking a balance between effectively identifying omissions in requirements and mitigating noise present in the predictions. Our second contribution involves designing a machine learning-based filter to post-process BERT's predictions and further reduce noise. We conduct an empirical evaluation using 40 requirements specifications from the PURE dataset. Our findings indicate that: (1) BERT's predictions effectively highlight terminology that is missing from requirements, (2) BERT outperforms simpler baselines in identifying relevant yet missing terminology, and (3) our filter significantly reduces noise in the predictions, enhancing BERT's effectiveness as a tool for completeness checking of requirements.
• Abstract（参考訳）: 自然言語(NL)は、おそらくシステムやソフトウェア要件を表現する最も一般的な媒体である。 NL要求の不完全性を検出することは大きな課題である。 不完全性を特定する1つのアプローチは、要求と外部ソースを比較することである。 LLMは、NL要求の潜在的な不完全性を検出するために、外部の知識源として有用か? 本稿では,BERTを用いてこの問題について考察する。 具体的には,BERT のマスク付き言語モデル (MLM) を用いて,要求条件におけるマスク付きスロットを埋めるための文脈的予測を生成する。 不完全性をシミュレートするために、要求からコンテンツを取り除き、未保持コンテンツに存在するが開示コンテンツには存在しない用語を予測するBERTの能力を評価する。 BERTはマスクごとに複数の予測を生成することができる。 最初のコントリビューションは、マスクごとの最適な予測数を決定し、要求の欠落を効果的に識別することと、予測に存在するノイズを緩和することのバランスを崩すことです。 第2の貢献は、処理後のbert予測に対する機械学習ベースのフィルタの設計と、さらにノイズの低減に関するものです。 PUREデータセットから40の要求仕様を用いて実証評価を行った。 その結果, (1) BERTの予測は, 要件から逸脱している用語を効果的に強調し, (2) BERT は関連する用語を識別する上で, より単純なベースラインを上回り, 3) フィルタは予測のノイズを大幅に低減し, 要求の完全性チェックツールとしてのBERTの有効性を高めた。

関連論文リスト

• Applying Pre-trained Multilingual BERT in Embeddings for Improved Malicious Prompt Injection Attacks Detection [5.78117257526028]
  大きな言語モデル(LLM)は、その優れた能力と広範囲のアプリケーションに適用できることで有名である。 この研究は、実際のLLMアプリケーションに最も危険な脆弱性の1つである悪意のあるプロンプトインジェクション攻撃の影響に焦点を当てている。 正規のプロンプトから悪意のあるプロンプトを分類するために、多言語BERTやDistilBertのような様々なBERT(Bidirectional Representations from Transformers)を適用する。
  論文  参考訳（メタデータ） (2024-09-20T08:48:51Z)
• Weighted Sampling for Masked Language Modeling [12.25238763907731]
  トークン周波数とトレーニング損失に基づいてトークンをマスキングするための2つの簡易かつ効果的な重み付きサンプリング手法を提案する。 これら2つの戦略をBERTに適用し、重み付きBERT(WSBERT)を得る。
  論文  参考訳（メタデータ） (2023-02-28T01:07:39Z)
• PreQuEL: Quality Estimation of Machine Translation Outputs in Advance [32.922128367314194]
  PreQuELシステムは、実際の翻訳とは無関係に、ある文がどの程度翻訳されるかを予測する。 タスクのベースラインモデルを開発し,その性能を解析する。 本手法は,品質評価タスクの性能向上にも有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-18T18:55:05Z)
• PERT: Pre-training BERT with Permuted Language Model [24.92527883997854]
  PERT は Permuted Language Model (PerLM) で訓練された BERT のような自動エンコーディングモデルである 入力テキストのパーセンテージをパーミュレートし、トレーニングの目的は、元のトークンの位置を予測することである。 我々は中国語と英語のNLUベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-03-14T07:58:34Z)
• Extract, Denoise, and Enforce: Evaluating and Predicting Lexical Constraints for Conditional Text Generation [31.341566859483056]
  現在のPLMが入力に重要な概念を保存するのに十分であるかどうかを研究するために条件生成の体系的な分析を提示する。 本稿では,制約のない世代に比較して,自動制約抽出,デノベーション,実施の枠組みを提案する。
  論文  参考訳（メタデータ） (2021-04-18T05:29:02Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)
• Towards Minimal Supervision BERT-based Grammar Error Correction [81.90356787324481]
  我々は、事前訓練された言語モデルからコンテキスト情報を取り入れて、アノテーションを活用し、多言語シナリオの恩恵を得ようとしている。 その結果、文法的誤り訂正タスクにおいて、変換器(BERT)からの双方向表現の強い可能性を示す。
  論文  参考訳（メタデータ） (2020-01-10T15:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。