論文の概要: Representation Learning for Stack Overflow Posts: How Far are We?

• arxiv url: http://arxiv.org/abs/2303.06853v2
• Date: Tue, 9 Apr 2024 04:01:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:45:54.740120
• Title: Representation Learning for Stack Overflow Posts: How Far are We?
• Title（参考訳）: スタックオーバーフローポストのための表現学習: どれくらい遠いか?
• Authors: Junda He, Zhou Xin, Bowen Xu, Ting Zhang, Kisub Kim, Zhou Yang, Ferdian Thung, Ivana Irsan, David Lo,
• Abstract要約: 最先端のStack Overflowポスト表現モデルはPost2VecとBERTOverflowである。 有望な結果にもかかわらず、これらの表現法は同じ実験環境では評価されていない。 本稿では,SOBERTを提案する。
• 参考スコア（独自算出の注目度）: 14.520780251680586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The tremendous success of Stack Overflow has accumulated an extensive corpus of software engineering knowledge, thus motivating researchers to propose various solutions for analyzing its content.The performance of such solutions hinges significantly on the selection of representation model for Stack Overflow posts. As the volume of literature on Stack Overflow continues to burgeon, it highlights the need for a powerful Stack Overflow post representation model and drives researchers' interest in developing specialized representation models that can adeptly capture the intricacies of Stack Overflow posts. The state-of-the-art (SOTA) Stack Overflow post representation models are Post2Vec and BERTOverflow, which are built upon trendy neural networks such as convolutional neural network (CNN) and Transformer architecture (e.g., BERT). Despite their promising results, these representation methods have not been evaluated in the same experimental setting. To fill the research gap, we first empirically compare the performance of the representation models designed specifically for Stack Overflow posts (Post2Vec and BERTOverflow) in a wide range of related tasks, i.e., tag recommendation, relatedness prediction, and API recommendation. To find more suitable representation models for the posts, we further explore a diverse set of BERT-based models, including (1) general domain language models (RoBERTa and Longformer) and (2) language models built with software engineering-related textual artifacts (CodeBERT, GraphCodeBERT, and seBERT). However, it also illustrates the ``No Silver Bullet'' concept, as none of the models consistently wins against all the others. Inspired by the findings, we propose SOBERT, which employs a simple-yet-effective strategy to improve the best-performing model by continuing the pre-training phase with the textual artifact from Stack Overflow.
• Abstract（参考訳）: Stack Overflowの素晴らしい成功は、ソフトウェアエンジニアリングの知識の広範なコーパスを蓄積し、研究者がコンテンツを分析するための様々なソリューションを提案する動機となった。 Stack Overflowに関する文献の量が増え続けている中で、強力なStack Overflowポスト表現モデルの必要性が強調され、Stack Overflowポストの複雑さを確実に捉えることのできる、特殊な表現モデルの開発に対する研究者の関心が高まっている。 最先端(SOTA) Stack Overflowポスト表現モデルはPost2VecとBERTOverflowで、畳み込みニューラルネットワーク(CNN)やTransformerアーキテクチャ(BERTなど)といったトレンドのニューラルネットワーク上に構築されている。 有望な結果にもかかわらず、これらの表現法は同じ実験環境では評価されていない。 研究ギャップを埋めるために、私たちはまず、Stack Overflowポスト(Post2VecとBERTOverflow)に特化して設計された表現モデルのパフォーマンスを、タグレコメンデーション、関連性予測、APIレコメンデーションなど、幅広い関連するタスクで実証的に比較した。 本論文では,(1)汎用ドメイン言語モデル(RoBERTa,Longformer)や(2)ソフトウェア工学関連のテキストアーティファクト(CodeBERT,GraphCodeBERT,seBERT)を用いた言語モデルなど,BERTベースの多種多様なモデルについて検討する。 しかし、これは『No Silver Bullet』の概念も示しており、どのモデルも他のモデルに常に勝ってはいない。 この結果から着想を得たSOBERTを提案する。SOBERTは,Stack Overflowのテキストアーティファクトと事前学習フェーズを継続することにより,最高のパフォーマンスモデルを改善するための,シンプルなyet- Effective戦略を採用している。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Good things come in three: Generating SO Post Titles with Pre-Trained Models, Self Improvement and Post Ranking [5.874782446136913]
  Stack Overflowは著名なQとAフォーラムであり、開発者がプログラミング関連の問題に適切なリソースを求めるのをサポートする。 高品質な質問タイトルを持つことは、開発者の注意を引き付ける効果的な手段である。 主にトレーニング済みのモデルを活用して、コードスニペットや問題記述からタイトルを生成する研究が行われている。 自己改善とポストランキングを備えた微調整言語モデルを用いて,Stack Overflowのポストタイトルを生成するソリューションとしてFILLERを提案する。
  論文  参考訳（メタデータ） (2024-06-21T20:18:34Z)
• EIGEN: Expert-Informed Joint Learning Aggregation for High-Fidelity Information Extraction from Document Images [27.36816896426097]
  レイアウトフォーマットの多様性が高いため,文書画像からの情報抽出は困難である。 本稿では,ルールベースの手法とデータプログラミングを用いたディープラーニングモデルを組み合わせた新しい手法であるEIGENを提案する。 我々のEIGENフレームワークは、ラベル付きデータインスタンスがほとんどない状態で、最先端のディープモデルの性能を大幅に向上させることができることを実証的に示しています。
  論文  参考訳（メタデータ） (2023-11-23T13:20:42Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Named Entity and Relation Extraction with Multi-Modal Retrieval [51.660650522630526]
  マルチモーダルな名前付きエンティティ認識(NER)と関係抽出(RE)は、関連画像情報を活用してNERとREの性能を向上させることを目的としている。 新たなマルチモーダル検索フレームワーク(MoRe)を提案する。 MoReはテキスト検索モジュールと画像ベースの検索モジュールを含み、入力されたテキストと画像の関連知識をそれぞれ知識コーパスで検索する。
  論文  参考訳（メタデータ） (2022-12-03T13:11:32Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Can Transformer Models Effectively Detect Software Aspects in StackOverflow Discussion? [0.0]
  開発者は、各API、フレームワーク、ツールなど、すべてのメリットと欠点を常に探しています。 典型的なアプローチの1つは、公式のドキュメンテーションとディスカッションを通じて、すべての機能を調べることである。 本稿では,StackOverflowの投稿から収集したベンチマークAPIアスペクトデータセット(Opiner)について述べる。
  論文  参考訳（メタデータ） (2022-09-24T18:28:14Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward [42.925345819778656]
  本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。 本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。 その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
  論文  参考訳（メタデータ） (2020-05-03T18:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。