論文の概要: Can Transformer Models Effectively Detect Software Aspects in
StackOverflow Discussion?
- arxiv url: http://arxiv.org/abs/2209.12065v1
- Date: Sat, 24 Sep 2022 18:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 16:41:34.063716
- Title: Can Transformer Models Effectively Detect Software Aspects in
StackOverflow Discussion?
- Title(参考訳): StackOverflowの議論でトランスフォーマーモデルはソフトウェア側面を効果的に検出できるか?
- Authors: Nibir Chandra Mandal, Tashreef Muhammad and G. M. Shahariar
- Abstract要約: 開発者は、各API、フレームワーク、ツールなど、すべてのメリットと欠点を常に探しています。
典型的なアプローチの1つは、公式のドキュメンテーションとディスカッションを通じて、すべての機能を調べることである。
本稿では,StackOverflowの投稿から収集したベンチマークAPIアスペクトデータセット(Opiner)について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dozens of new tools and technologies are being incorporated to help
developers, which is becoming a source of consternation as they struggle to
choose one over the others. For example, there are at least ten frameworks
available to developers for developing web applications, posing a conundrum in
selecting the best one that meets their needs. As a result, developers are
continuously searching for all of the benefits and drawbacks of each API,
framework, tool, and so on. One of the typical approaches is to examine all of
the features through official documentation and discussion. This approach is
time-consuming, often makes it difficult to determine which aspects are the
most important to a particular developer and whether a particular aspect is
important to the community at large. In this paper, we have used a benchmark
API aspects dataset (Opiner) collected from StackOverflow posts and observed
how Transformer models (BERT, RoBERTa, DistilBERT, and XLNet) perform in
detecting software aspects in textual developer discussion with respect to the
baseline Support Vector Machine (SVM) model. Through extensive experimentation,
we have found that transformer models improve the performance of baseline SVM
for most of the aspects, i.e., `Performance', `Security', `Usability',
`Documentation', `Bug', `Legal', `OnlySentiment', and `Others'. However, the
models fail to apprehend some of the aspects (e.g., `Community' and
`Potability') and their performance varies depending on the aspects. Also,
larger architectures like XLNet are ineffective in interpreting software
aspects compared to smaller architectures like DistilBERT.
- Abstract(参考訳): 開発者を支援するために、数多くの新しいツールや技術が組み込まれています。
例えば、webアプリケーションの開発には、少なくとも10のフレームワークが利用可能で、ニーズに合致した最適なフレームワークを選択する上での混乱を招いている。
その結果、開発者は、各API、フレームワーク、ツールなど、すべてのメリットと欠点を継続的に探している。
典型的なアプローチの1つは、公式ドキュメンテーションと議論を通じてすべての機能を調べることである。
このアプローチは時間を要するため、特定の開発者にとってどのアスペクトが最も重要なのか、コミュニティ全体にとって特定のアスペクトが重要であるかどうかを判断することが難しいことが多い。
本稿では,StackOverflowの投稿から収集したベンチマークAPIアスペクトデータセット(Opiner)を用いて,Transformerモデル(BERT,RoBERTa,DistilBERT,XLNet)が,ベースラインサポートベクタマシン(SVM)モデルに関するテキスト開発者ディスカッションにおいて,ソフトウェアアスペクトの検出にどのように機能するかを観察した。
広範な実験を通じて、トランスフォーマーモデルがベースラインsvmの性能、すなわち `performance', `security', `usability', `documentation', `bug', `legal', `onlysentiment', `others' といった多くの側面において改善できることが判明した。
しかし、モデルはいくつかの側面(例えば、'Community' や 'Potability' など)を認識できず、その性能は側面によって異なる。
また、XLNetのような大きなアーキテクチャは、DistilBERTのような小さなアーキテクチャと比べてソフトウェア側面の解釈に効果がない。
関連論文リスト
- CODIS: Benchmarking Context-Dependent Visual Comprehension for
Multimodal Large Language Models [60.27894243926344]
我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。
以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。
このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-21T08:21:12Z) - ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。
フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-10-26T21:57:21Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - Enriching Source Code with Contextual Data for Code Completion Models:
An Empirical Study [4.438873396405334]
コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。
コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
論文 参考訳(メタデータ) (2023-04-24T17:09:14Z) - Modeling Entities as Semantic Points for Visual Information Extraction
in the Wild [55.91783742370978]
文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。
我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。
提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
論文 参考訳(メタデータ) (2023-03-23T08:21:16Z) - A Comparison of Decision Forest Inference Platforms from A Database
Perspective [4.873098180823506]
決定森林は、クレジットカード詐欺の検出、ランキング、ビジネスインテリジェンスなど、多くの産業シナリオで使われている最も一般的な機械学習手法の1つである。
ONNX、AmazonのTreeLite、GoogleのDecision Forest、MicrosoftのHummingBird、Nvidia FIL、Leavesなど、多くのフレームワークが開発され、決定森林の推測に費やされた。
論文 参考訳(メタデータ) (2023-02-09T04:07:50Z) - Simple and Efficient Architectures for Semantic Segmentation [50.1563637917129]
ResNetのようなバックボーンと小型のマルチスケールヘッドを備えた単純なエンコーダデコーダアーキテクチャは,HRNetやFANet,DDRNetといった複雑なセマンティックセマンティックセマンティクスアーキテクチャよりも優れていることを示す。
そこで我々は,Cityscapesデータセット上の複雑なモデルの性能に適合する,あるいは超越した,デスクトップおよびモバイルターゲット用のこのようなシンプルなアーキテクチャのファミリーを提示する。
論文 参考訳(メタデータ) (2022-06-16T15:08:34Z) - Fashionformer: A simple, Effective and Unified Baseline for Human
Fashion Segmentation and Recognition [80.74495836502919]
本研究では,共同ファッションセグメンテーションと属性認識に着目した。
本稿では,セグメンテーションのためのオブジェクトクエリと属性予測のための属性クエリを紹介する。
属性ストリームのために,よりきめ細かい特徴を探索する新しいマルチレイヤレンダリングモジュールを設計する。
論文 参考訳(メタデータ) (2022-04-10T11:11:10Z) - Mapping the Internet: Modelling Entity Interactions in Complex
Heterogeneous Networks [0.0]
サンプル表現、モデル定義、トレーニングのための汎用性のある統一フレームワークHMill'を提案します。
フレームワークに実装されたモデルによって実現されたすべての関数の集合に対する普遍近似定理の拡張を示す。
このフレームワークを使ってサイバーセキュリティドメインから3つの異なる問題を解決する。
論文 参考訳(メタデータ) (2021-04-19T21:32:44Z) - Comparative Code Structure Analysis using Deep Learning for Performance
Prediction [18.226950022938954]
本稿では,アプリケーションの静的情報(抽象構文木やASTなど)を用いてコード構造の変化に基づいて性能変化を予測することの実現可能性を評価することを目的とする。
組込み学習手法の評価により,木系長短メモリ(LSTM)モデルでは,ソースコードの階層構造を利用して遅延表現を発見し,最大84%(個人的問題)と73%(複数の問題を含む組み合わせデータセット)の精度で性能変化を予測できることが示された。
論文 参考訳(メタデータ) (2021-02-12T16:59:12Z) - Patching as Translation: the Data and the Metaphor [18.22949296398319]
ソフトウェアパッチは言語翻訳に似ている」ことを示す。
私たちは、経験的な発見とソフトウェア開発の一般的な知識に基づいて、モデル設計に対するより原則化されたアプローチが、よりよいソリューションをもたらすことを示しています。
このようなモデルを“概念の保護(proof-of-concept)”ツールとして実装し、それらが研究対象の翻訳ベースアーキテクチャと根本的に異なる、より効果的な方法で振る舞うことを実証的に確認します。
論文 参考訳(メタデータ) (2020-08-24T21:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。