論文の概要: PTM4Tag+: Tag Recommendation of Stack Overflow Posts with Pre-trained Models

• arxiv url: http://arxiv.org/abs/2408.02311v1
• Date: Mon, 5 Aug 2024 08:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:06:30.543432
• Title: PTM4Tag+: Tag Recommendation of Stack Overflow Posts with Pre-trained Models
• Title（参考訳）: PTM4Tag+: 事前学習モデルによるスタックオーバーフローポストのタッグレコメンデーション
• Authors: Junda He, Bowen Xu, Zhou Yang, DongGyun Han, Chengran Yang, Jiakun Liu, Zhipeng Zhao, David Lo,
• Abstract要約: 言語モデリングにおいて事前学習モデル(PTM)を利用するStack Overflowポスト用のタグレコメンデーションフレームワークであるPTM4Tag+を提案する。 PTM4Tag+はトリプルトアーキテクチャで実装されており、投稿の3つの重要なコンポーネント、すなわち、タイトル、記述、コード、および独立なPTMを考慮に入れている。 PTM4Tag+ フレームワークで CodeT5 を活用することで,8つの PTM の中で最高の性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 11.984391962388885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stack Overflow is one of the most influential Software Question & Answer (SQA) websites, hosting millions of programming-related questions and answers. Tags play a critical role in efficiently organizing the contents in Stack Overflow and are vital to support a range of site operations, e.g., querying relevant content. Poorly selected tags often raise problems like tag ambiguity and tag explosion. Thus, a precise and accurate automated tag recommendation technique is demanded. Inspired by the recent success of pre-trained models (PTMs) in natural language processing (NLP), we present PTM4Tag+, a tag recommendation framework for Stack Overflow posts that utilizes PTMs in language modeling. PTM4Tag+ is implemented with a triplet architecture, which considers three key components of a post, i.e., Title, Description, and Code, with independent PTMs. We utilize a number of popular pre-trained models, including the BERT-based models (e.g., BERT, RoBERTa, CodeBERT, BERTOverflow, and ALBERT), and encoder-decoder models (e.g., PLBART, CoTexT, and CodeT5). Our results show that leveraging CodeT5 under the PTM4Tag+ framework achieves the best performance among the eight considered PTMs and outperforms the state-of-the-art Convolutional Neural Network-based approach by a substantial margin in terms of average P recision@k, Recall@k, and F1-score@k (k ranges from 1 to 5). Specifically, CodeT5 improves the performance of F1-score@1-5 by 8.8%, 12.4%, 15.3%, 16.4%, and 16.6%. Moreover, to address the concern with inference latency, we experiment PTM4Tag+ with smaller PTM models (i.e., DistilBERT, DistilRoBERTa, CodeBERT-small, and CodeT5-small). We find that although smaller PTMs cannot outperform larger PTMs, they still maintain over 93.96% of the performance on average, meanwhile shortening the mean inference time by more than 47.2%
• Abstract（参考訳）: Stack Overflowは、最も影響力のあるSoftware Question & Answer(SQA)Webサイトのひとつで、数百万のプログラミング関連の質問と回答をホストしている。 タグはStack Overflowでコンテンツを効率的に整理する上で重要な役割を担い、関連するコンテンツをクエリするなど、さまざまなサイト操作をサポートする上で不可欠である。 未選択のタグは、タグの曖昧さやタグの爆発といった問題を引き起こすことが多い。 これにより、高精度かつ正確な自動タグレコメンデーション技術が要求される。 自然言語処理(NLP)における事前学習モデル(PTM)の成功に触発されて,言語モデリングにPTMを利用するStack OverflowポストのタグレコメンデーションフレームワークであるPTM4Tag+を紹介した。 PTM4Tag+はトリプルトアーキテクチャで実装されており、投稿の3つの重要なコンポーネント、すなわち、タイトル、記述、コード、および独立なPTMを考慮に入れている。 我々は、BERTベースのモデル(例えば、BERT、RoBERTa、CodeBERT、BERTOverflow、ALBERT)やエンコーダデコーダモデル(例えば、PLBART、CoTexT、CodeT5)など、人気のある事前訓練モデルを活用している。 PTM4Tag+ フレームワークでの CodeT5 の利用は,8つの検討された PTM の中で最高の性能を達成し,平均的な P recision@k,Recall@k,F1-score@k (k は 1 から 5 の範囲) において,最先端の畳み込みニューラルネットワークベースのアプローチよりかなり優れていることを示す。 具体的には、CodeT5はF1-score@1-5のパフォーマンスを8.8%、12.4%、15.3%、16.4%、16.6%改善している。 さらに、推論遅延に関する懸念に対処するため、より小さなPTMモデル(DistorBERT、DistilRoBERTa、CodeBERT-small、CodeT5-small)でPTM4Tag+を実験する。 より小さな PTM はより大きな PTM を上回りませんが、平均的なパフォーマンスの93.96% 以上を維持しつつ、平均推論時間を47.2% 以上短縮しています。

関連論文リスト

• Utilizing Large Language Models for Named Entity Recognition in Traditional Chinese Medicine against COVID-19 Literature: Comparative Study [4.680391123850371]
  新型コロナウイルスに対するTCMに関する389項目のデータセットを作成し,その内48項目に3つのドメインに属する6種類のエンティティを手動で注釈付けした。 次に、ChatGPT(GPT-3.5およびGPT-4)と4つの最先端BERTベースの質問応答(QA)モデルを用いて、6つのエンティティタイプに対してNERタスクを実行した。
  論文  参考訳（メタデータ） (2024-08-24T06:59:55Z)
• Coding-PTMs: How to Find Optimal Code Pre-trained Models for Code Embedding in Vulnerability Detection? [30.84647604639891]
  本研究では,10種類のコード PTM が生成したコード埋め込みが脆弱性検出性能に与える影響について検討する。 我々は,特定の脆弱性検出タスクに対して,エンジニアが最適なコードPTMを選択するのを支援するための推奨フレームワークであるCoding-PTMを提案する。
  論文  参考訳（メタデータ） (2024-08-09T04:56:26Z)
• Automated categorization of pre-trained models for software engineering: A case study with a Hugging Face dataset [9.218130273952383]
  ソフトウェアエンジニアリング活動は、事前訓練されたモデル(PTM)の出現によって革新した。 Hugging Face (HF)プラットフォームは、いくつかのモデルを収集、保存、キュレーションすることで、PTMの使用を単純化する。 本稿では,SEタスクに対するPTMの自動分類を実現するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-21T20:26:17Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Software Engineering Tasks [29.88525311985907]
  事前訓練されたモデル(PTM)は、様々なソフトウェア工学(SE)下流タスクで大きな成功を収めています。 広く使われているソリューションはパラメータ効率の微調整(PEFT)であり、追加パラメータを導入しながらPTMを凍結する。 本研究の目的は,5つのPEFT手法が8つのPTMおよび4つのSE下流タスクに対して有効であることを示すことである。
  論文  参考訳（メタデータ） (2023-12-25T05:25:39Z)
• The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning [50.75534397373867]
  100B未満のパラメータを持つ言語モデル(LM)は、チェーン・オブ・ソート(CoT)の推論では不十分であることが知られている。 本研究は,CoTの有理量を用いた命令チューニングにより,段階的推論機能を備えた小型LMを実現することを目的とする。
  論文  参考訳（メタデータ） (2023-05-23T13:14:59Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• Black-Box Tuning for Language-Model-as-a-Service [85.2210372920386]
  この研究は、デリバティブフリーアルゴリズムによってPTMを最適化するBlack-Box Tuningを提案する。 特に,PTM推論APIを反復的に呼び出すことで,入力テキストに既定の連続的なプロンプトを最適化するためにCMA-ESを起動する。 実験の結果,数個のラベル付きサンプル上でのRoBERTaを用いたブラックボックスチューニングは,手動のプロンプトやGPT-3のテキスト内学習に優れるだけでなく,勾配に基づく学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-10T18:17:05Z)
• Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting Model Hubs [136.4492678691406]
  本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。 最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。 チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T12:59:23Z)
• Pack Together: Entity and Relation Extraction with Levitated Marker [61.232174424421025]
  エンコーダにマーカを戦略的にパッケージ化することにより,スパン(ペア)間の依存関係を検討するために,Packed Levitated Markersという新しいスパン表現手法を提案する。 実験の結果,3つの平坦なNERタスクにおいて,有望なマーカーが充填されたモデルの方がシーケンスラベルモデルよりも0.4%-1.9%優れ,トークンコンキャットモデルを6つのNERベンチマークで上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-13T15:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。