論文の概要: Can Transformer Models Effectively Detect Software Aspects in
StackOverflow Discussion?
- arxiv url: http://arxiv.org/abs/2209.12065v1
- Date: Sat, 24 Sep 2022 18:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 16:41:34.063716
- Title: Can Transformer Models Effectively Detect Software Aspects in
StackOverflow Discussion?
- Title(参考訳): StackOverflowの議論でトランスフォーマーモデルはソフトウェア側面を効果的に検出できるか?
- Authors: Nibir Chandra Mandal, Tashreef Muhammad and G. M. Shahariar
- Abstract要約: 開発者は、各API、フレームワーク、ツールなど、すべてのメリットと欠点を常に探しています。
典型的なアプローチの1つは、公式のドキュメンテーションとディスカッションを通じて、すべての機能を調べることである。
本稿では,StackOverflowの投稿から収集したベンチマークAPIアスペクトデータセット(Opiner)について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dozens of new tools and technologies are being incorporated to help
developers, which is becoming a source of consternation as they struggle to
choose one over the others. For example, there are at least ten frameworks
available to developers for developing web applications, posing a conundrum in
selecting the best one that meets their needs. As a result, developers are
continuously searching for all of the benefits and drawbacks of each API,
framework, tool, and so on. One of the typical approaches is to examine all of
the features through official documentation and discussion. This approach is
time-consuming, often makes it difficult to determine which aspects are the
most important to a particular developer and whether a particular aspect is
important to the community at large. In this paper, we have used a benchmark
API aspects dataset (Opiner) collected from StackOverflow posts and observed
how Transformer models (BERT, RoBERTa, DistilBERT, and XLNet) perform in
detecting software aspects in textual developer discussion with respect to the
baseline Support Vector Machine (SVM) model. Through extensive experimentation,
we have found that transformer models improve the performance of baseline SVM
for most of the aspects, i.e., `Performance', `Security', `Usability',
`Documentation', `Bug', `Legal', `OnlySentiment', and `Others'. However, the
models fail to apprehend some of the aspects (e.g., `Community' and
`Potability') and their performance varies depending on the aspects. Also,
larger architectures like XLNet are ineffective in interpreting software
aspects compared to smaller architectures like DistilBERT.
- Abstract(参考訳): 開発者を支援するために、数多くの新しいツールや技術が組み込まれています。
例えば、webアプリケーションの開発には、少なくとも10のフレームワークが利用可能で、ニーズに合致した最適なフレームワークを選択する上での混乱を招いている。
その結果、開発者は、各API、フレームワーク、ツールなど、すべてのメリットと欠点を継続的に探している。
典型的なアプローチの1つは、公式ドキュメンテーションと議論を通じてすべての機能を調べることである。
このアプローチは時間を要するため、特定の開発者にとってどのアスペクトが最も重要なのか、コミュニティ全体にとって特定のアスペクトが重要であるかどうかを判断することが難しいことが多い。
本稿では,StackOverflowの投稿から収集したベンチマークAPIアスペクトデータセット(Opiner)を用いて,Transformerモデル(BERT,RoBERTa,DistilBERT,XLNet)が,ベースラインサポートベクタマシン(SVM)モデルに関するテキスト開発者ディスカッションにおいて,ソフトウェアアスペクトの検出にどのように機能するかを観察した。
広範な実験を通じて、トランスフォーマーモデルがベースラインsvmの性能、すなわち `performance', `security', `usability', `documentation', `bug', `legal', `onlysentiment', `others' といった多くの側面において改善できることが判明した。
しかし、モデルはいくつかの側面(例えば、'Community' や 'Potability' など)を認識できず、その性能は側面によって異なる。
また、XLNetのような大きなアーキテクチャは、DistilBERTのような小さなアーキテクチャと比べてソフトウェア側面の解釈に効果がない。
関連論文リスト
- BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
大規模言語モデル(LLM)は、様々な領域でますます重要になっている。
BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。
BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
論文 参考訳(メタデータ) (2024-10-01T15:11:24Z) - CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。
まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。
CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳(メタデータ) (2024-06-20T16:59:52Z) - Transformer Architecture for NetsDB [0.0]
我々はNetsDBで機能するディープラーニングモデルのためのトランスフォーマーのエンドツーエンド実装を作成します。
分散処理、デプロイメント、効率的な推論のために、当社のモデルから重みをロードします。
論文 参考訳(メタデータ) (2024-05-08T04:38:36Z) - State Space Model for New-Generation Network Alternative to Transformers: A Survey [52.812260379420394]
深層学習時代において、Transformerアーキテクチャは、トレーニング済みのビッグモデルとさまざまなダウンストリームタスクにまたがる強力なパフォーマンスを示してきた。
注意モデルの複雑さをさらに軽減するために、より効率的な手法を設計するための多くの努力がなされている。
その中でも、自己注意に基づくトランスフォーマーモデルの代替として、ステートスペースモデル(SSM)が近年ますます注目を集めている。
論文 参考訳(メタデータ) (2024-04-15T07:24:45Z) - Dissecting Multimodality in VideoQA Transformer Models by Impairing Modality Fusion [54.33764537135906]
VideoQA Transformerモデルは標準ベンチマークで競合性能を示す。
これらのモデルはビデオとテキストからリッチなマルチモーダル構造とダイナミックスを一緒に捉えていますか?
彼らはバイアスと刺激的な特徴を利用して高いスコアを達成していますか?
論文 参考訳(メタデータ) (2023-06-15T06:45:46Z) - Representation Learning for Stack Overflow Posts: How Far are We? [14.520780251680586]
最先端のStack Overflowポスト表現モデルはPost2VecとBERTOverflowである。
有望な結果にもかかわらず、これらの表現法は同じ実験環境では評価されていない。
本稿では,SOBERTを提案する。
論文 参考訳(メタデータ) (2023-03-13T04:49:06Z) - A Comparison of Decision Forest Inference Platforms from A Database
Perspective [4.873098180823506]
決定森林は、クレジットカード詐欺の検出、ランキング、ビジネスインテリジェンスなど、多くの産業シナリオで使われている最も一般的な機械学習手法の1つである。
ONNX、AmazonのTreeLite、GoogleのDecision Forest、MicrosoftのHummingBird、Nvidia FIL、Leavesなど、多くのフレームワークが開発され、決定森林の推測に費やされた。
論文 参考訳(メタデータ) (2023-02-09T04:07:50Z) - Simple and Efficient Architectures for Semantic Segmentation [50.1563637917129]
ResNetのようなバックボーンと小型のマルチスケールヘッドを備えた単純なエンコーダデコーダアーキテクチャは,HRNetやFANet,DDRNetといった複雑なセマンティックセマンティックセマンティクスアーキテクチャよりも優れていることを示す。
そこで我々は,Cityscapesデータセット上の複雑なモデルの性能に適合する,あるいは超越した,デスクトップおよびモバイルターゲット用のこのようなシンプルなアーキテクチャのファミリーを提示する。
論文 参考訳(メタデータ) (2022-06-16T15:08:34Z) - Fashionformer: A simple, Effective and Unified Baseline for Human
Fashion Segmentation and Recognition [80.74495836502919]
本研究では,共同ファッションセグメンテーションと属性認識に着目した。
本稿では,セグメンテーションのためのオブジェクトクエリと属性予測のための属性クエリを紹介する。
属性ストリームのために,よりきめ細かい特徴を探索する新しいマルチレイヤレンダリングモジュールを設計する。
論文 参考訳(メタデータ) (2022-04-10T11:11:10Z) - Mapping the Internet: Modelling Entity Interactions in Complex
Heterogeneous Networks [0.0]
サンプル表現、モデル定義、トレーニングのための汎用性のある統一フレームワークHMill'を提案します。
フレームワークに実装されたモデルによって実現されたすべての関数の集合に対する普遍近似定理の拡張を示す。
このフレームワークを使ってサイバーセキュリティドメインから3つの異なる問題を解決する。
論文 参考訳(メタデータ) (2021-04-19T21:32:44Z) - Patching as Translation: the Data and the Metaphor [18.22949296398319]
ソフトウェアパッチは言語翻訳に似ている」ことを示す。
私たちは、経験的な発見とソフトウェア開発の一般的な知識に基づいて、モデル設計に対するより原則化されたアプローチが、よりよいソリューションをもたらすことを示しています。
このようなモデルを“概念の保護(proof-of-concept)”ツールとして実装し、それらが研究対象の翻訳ベースアーキテクチャと根本的に異なる、より効果的な方法で振る舞うことを実証的に確認します。
論文 参考訳(メタデータ) (2020-08-24T21:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。