論文の概要: Lessons from the Use of Natural Language Inference (NLI) in Requirements Engineering Tasks
- arxiv url: http://arxiv.org/abs/2405.05135v1
- Date: Wed, 24 Apr 2024 20:26:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-12 15:40:48.837364
- Title: Lessons from the Use of Natural Language Inference (NLI) in Requirements Engineering Tasks
- Title（参考訳）: 要求工学課題における自然言語推論(NLI)の活用から学んだこと
- Authors: Mohamad Fazelnia, Viktoria Koscinski, Spencer Herzog, Mehdi Mirakhorli,
- Abstract要約: 要求工学タスクの自動化における自然言語推論(NLI)の利用について検討する。
特に、要求分類、要求仕様の欠陥の特定、利害関係者の要求における矛盾の検出という3つのタスクに重点を置いています。
- 参考スコア（独自算出の注目度）: 3.7236121078812485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the use of Natural Language Inference (NLI) in automating requirements engineering tasks. In particular, we focus on three tasks: requirements classification, identification of requirements specification defects, and detection of conflicts in stakeholders' requirements. While previous research has demonstrated significant benefit in using NLI as a universal method for a broad spectrum of natural language processing tasks, these advantages have not been investigated within the context of software requirements engineering. Therefore, we design experiments to evaluate the use of NLI in requirements analysis. We compare the performance of NLI with a spectrum of approaches, including prompt-based models, conventional transfer learning, Large Language Models (LLMs)-powered chatbot models, and probabilistic models. Through experiments conducted under various learning settings including conventional learning and zero-shot, we demonstrate conclusively that our NLI method surpasses classical NLP methods as well as other LLMs-based and chatbot models in the analysis of requirements specifications. Additionally, we share lessons learned characterizing the learning settings that make NLI a suitable approach for automating requirements engineering tasks.
- Abstract（参考訳）: 要求工学タスクの自動化における自然言語推論(NLI)の利用について検討する。
特に、要求分類、要求仕様の欠陥の特定、利害関係者の要求における矛盾の検出という3つのタスクに重点を置いています。
従来の研究は、自然言語処理タスクの幅広い範囲において、NLIを普遍的な手法として使用するという大きな利点を示してきたが、これらの利点は、ソフトウェア要件工学の文脈内では研究されていない。
そこで我々は,要求分析におけるNLIの利用を評価する実験を設計した。
我々は,NLIの性能を,プロンプトベースモデル,従来の移動学習,Large Language Models(LLM)を利用したチャットボットモデル,確率モデルなど,様々なアプローチと比較する。
従来の学習やゼロショットなど,様々な学習環境下で実施された実験を通じて,NLI法が要求仕様の分析において従来のNLP法や,その他のLLMに基づくチャットボットモデルを上回ることを確定的に実証した。
さらに、NLIを要求工学タスクの自動化に適したアプローチにする学習環境を特徴付けるための教訓を共有した。
関連論文リスト
- SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - Practical Guidelines for the Selection and Evaluation of Natural Language Processing Techniques in Requirements Engineering [8.779031107963942]
自然言語(NL)は現在、要求自動化の基盤となっている。
多くの異なるNLPソリューション戦略が利用可能であるため、特定のREタスクに対して適切な戦略を選択することは困難である。
特に,従来のNLP,特徴ベース機械学習,言語モデルに基づく手法など,さまざまな戦略を選択する方法について議論する。
論文 参考訳（メタデータ） (2024-01-03T02:24:35Z) - Natural Language Processing for Requirements Formalization: How to
Derive New Approaches? [0.32885740436059047]
我々はNLPの分野における主要な考え方と最先端の方法論について論じる。
我々は2つの異なるアプローチを詳細に議論し、ルールセットの反復的開発を強調した。
提案手法は, 自動車分野と鉄道分野の2つの産業分野において実証された。
論文 参考訳（メタデータ） (2023-09-23T05:45:19Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳（メタデータ） (2023-07-04T02:47:42Z) - Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。
モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。
5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-05-23T16:28:29Z) - Requirement Formalisation using Natural Language Processing and Machine
Learning: A Systematic Review [11.292853646607888]
我々は,要求工学におけるNLP技術とML技術の現状を概説するために,体系的な文献レビューを行った。
NLPアプローチは、構造化データと半構造化データに対する一次操作である自動RFに使用される最も一般的なNLP手法であることがわかった。
また,本研究では,従来のML技術が研究に大きく貢献する代わりに,Deep Learning(DL)技術が広く用いられていることも明らかにした。
論文 参考訳（メタデータ） (2023-03-18T17:36:21Z) - An Exploration of Prompt Tuning on Generative Spoken Language Model for
Speech Processing Tasks [112.1942546460814]
生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。
実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-03-31T03:26:55Z) - AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。
5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。
ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
論文 参考訳（メタデータ） (2022-02-10T04:04:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。