論文の概要: A First Look at Information Highlighting in Stack Overflow Answers

• arxiv url: http://arxiv.org/abs/2401.01472v2
• Date: Thu, 1 Feb 2024 01:32:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 18:38:14.282173
• Title: A First Look at Information Highlighting in Stack Overflow Answers
• Title（参考訳）: Stack Overflow Answersにおける情報ハイライトの紹介
• Authors: Shahla Shaan Ahmed, Shaowei Wang, Yuan Tian, Tse-Hsun (Peter) Chen, Haoxiang Zhang
• Abstract要約: ニューラルネットワークアーキテクチャを用いてハイライトコンテンツを自動的に推奨する手法を開発した。 推薦モデルのトレーニングには、フォーマットの種類毎にCNNとBERTモデルを選択します。 自動コードコンテンツハイライトのためのトレーニングされたモデルは、0.73のリコールとF1スコアの0.71を達成し、他のフォーマットのトレーニングされたモデルよりも優れています。
• 参考スコア（独自算出の注目度）: 11.723297966217906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: Navigating the knowledge of Stack Overflow (SO) remains challenging. To make the posts vivid to users, SO allows users to write and edit posts with Markdown or HTML so that users can leverage various formatting styles (e.g., bold, italic, and code) to highlight the important information. Nonetheless, there have been limited studies on the highlighted information. Objective: We carried out the first large-scale exploratory study on the information highlighted in SO answers in our recent study. To extend our previous study, we develop approaches to automatically recommend highlighted content with formatting styles using neural network architectures initially designed for the Named Entity Recognition task. Method: In this paper, we studied 31,169,429 answers of Stack Overflow. For training recommendation models, we choose CNN and BERT models for each type of formatting (i.e., Bold, Italic, Code, and Heading) using the information highlighting dataset we collected from SO answers. Results: Our models based on CNN architecture achieve precision ranging from 0.71 to 0.82. The trained model for automatic code content highlighting achieves a recall of 0.73 and an F1 score of 0.71, outperforming the trained models for other formatting styles. The BERT models have even lower recalls and F1 scores than the CNN models. Our analysis of failure cases indicates that the majority of the failure cases are missing identification (i.e., the model misses the content that is supposed to be highlighted) due to the models tend to learn the frequently highlighted words while struggling to learn less frequent words. Conclusion: Our findings suggest that it is possible to develop recommendation models for highlighting information for answers with different formatting styles on Stack Overflow.
• Abstract（参考訳）: コンテキスト: Stack Overflow(SO)の知識をナビゲートすることはまだ難しい。 ユーザーが投稿を鮮明にするために、ユーザーがMarkdownやHTMLで投稿を書いたり編集したりできるので、ユーザーは様々なフォーマットスタイル(大胆、イタリック、コードなど)を利用して重要な情報をハイライトすることができる。 にもかかわらず、強調された情報に関する研究は限られている。 目的: 最近の研究では, so回答で強調された情報について, 初めて大規模探索研究を行った。 従来の研究を拡張すべく、まず名前付きエンティティ認識タスク用に設計されたニューラルネットワークアーキテクチャを用いて、フォーマットスタイルのハイライトコンテンツを自動的に推奨する手法を開発した。 方法:本稿では,stack overflowの31,169,429の回答を調査した。 推奨モデルのトレーニングには、SOの回答から収集した情報ハイライトデータセットを使用して、フォーマットの種類ごとにCNNとBERTモデル(Bold、Iteric、Code、Heading)を選択します。 結果: CNNアーキテクチャに基づくモデルでは0.71から0.82の精度が得られた。 自動コードコンテンツハイライトのためのトレーニングされたモデルは、0.73のリコールとF1スコアの0.71を達成し、他のフォーマットスタイルのトレーニングされたモデルよりも優れている。 BERTモデルはCNNモデルよりもリコールが低く、F1スコアも低い。 失敗事例の分析から,失敗事例の大部分は識別の欠如(つまり,強調すべき内容が欠落している)であり,モデルでは強調される単語を学習する傾向があり,頻繁な単語の学習に苦しむ傾向がみられた。 結論: stack overflow 上で異なるフォーマットスタイルで回答の情報を強調表示するためのレコメンデーションモデルの開発が可能であることを示唆する。

関連論文リスト

• From Lists to Emojis: How Format Bias Affects Model Alignment [67.08430328350327]
  人的フィードバックからの強化学習における形式バイアスについて検討する。 人間の評価者を含む多くの広く使われている嗜好モデルは、特定のフォーマットパターンに対して強いバイアスを示す。 バイアスデータが少ないと、報酬モデルにかなりのバイアスを注入できることを示す。
  論文  参考訳（メタデータ） (2024-09-18T05:13:18Z)
• Clarify: Improving Model Robustness With Natural Language Corrections [59.041682704894555]
  モデルを教える標準的な方法は、大量のデータを提供することです。 このアプローチは、データ内の誤解を招く信号を拾うため、モデルに誤ったアイデアを教えることが多い。 モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
  論文  参考訳（メタデータ） (2024-02-06T05:11:38Z)
• EIGEN: Expert-Informed Joint Learning Aggregation for High-Fidelity Information Extraction from Document Images [27.36816896426097]
  レイアウトフォーマットの多様性が高いため,文書画像からの情報抽出は困難である。 本稿では,ルールベースの手法とデータプログラミングを用いたディープラーニングモデルを組み合わせた新しい手法であるEIGENを提案する。 我々のEIGENフレームワークは、ラベル付きデータインスタンスがほとんどない状態で、最先端のディープモデルの性能を大幅に向上させることができることを実証的に示しています。
  論文  参考訳（メタデータ） (2023-11-23T13:20:42Z)
• Large Language Models Meet Knowledge Graphs to Answer Factoid Questions [57.47634017738877]
  本稿では,知識グラフから追加情報に富んだ事前学習されたテキスト・テキスト言語モデルを探索する手法を提案する。 抽出した部分グラフの線形化によりトランスフォーマーモデルで容易に情報を得る。 抽出された情報で回答候補を最終ランク付けすると、事前訓練されたテキスト-テキスト言語モデルのHits@1スコアが4-6%向上する。
  論文  参考訳（メタデータ） (2023-10-03T15:57:00Z)
• Representation Learning for Stack Overflow Posts: How Far are We? [14.520780251680586]
  最先端のStack Overflowポスト表現モデルはPost2VecとBERTOverflowである。 有望な結果にもかかわらず、これらの表現法は同じ実験環境では評価されていない。 本稿では,SOBERTを提案する。
  論文  参考訳（メタデータ） (2023-03-13T04:49:06Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Topic Adaptation and Prototype Encoding for Few-Shot Visual Storytelling [81.33107307509718]
  トピック間一般化の能力をモデル化するためのトピック適応型ストーリーテラを提案する。 また,アトピー内導出能力のモデル化を目的とした符号化手法の試作も提案する。 実験結果から,トピック適応とプロトタイプ符号化構造が相互に利益をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-08-11T03:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。