論文の概要: Large-scale information retrieval in software engineering -- an experience report from industrial application

• arxiv url: http://arxiv.org/abs/2308.11750v1
• Date: Tue, 22 Aug 2023 19:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 13:09:40.916363
• Title: Large-scale information retrieval in software engineering -- an experience report from industrial application
• Title（参考訳）: ソフトウェア工学における大規模情報検索-産業応用からの体験報告
• Authors: Michael Unterkalmsteiner, Tony Gorschek, Robert Feldt, Niklas Lavesson
• Abstract要約: 本稿では, 工学的課題, テストケースの選択, 問題解析とソリューション発見プロセスについて述べる。 研究対象企業の文脈において,テストケースの選択がどのように実行されるかを分析し,異なるIR技術の性能を評価する一連の実験を設計する。
• 参考スコア（独自算出の注目度）: 9.62054859086279
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Software Engineering activities are information intensive. Research proposes Information Retrieval (IR) techniques to support engineers in their daily tasks, such as establishing and maintaining traceability links, fault identification, and software maintenance. We describe an engineering task, test case selection, and illustrate our problem analysis and solution discovery process. The objective of the study is to gain an understanding of to what extent IR techniques (one potential solution) can be applied to test case selection and provide decision support in a large-scale, industrial setting. We analyze, in the context of the studied company, how test case selection is performed and design a series of experiments evaluating the performance of different IR techniques. Each experiment provides lessons learned from implementation, execution, and results, feeding to its successor. The three experiments led to the following observations: 1) there is a lack of research on scalable parameter optimization of IR techniques for software engineering problems; 2) scaling IR techniques to industry data is challenging, in particular for latent semantic analysis; 3) the IR context poses constraints on the empirical evaluation of IR techniques, requiring more research on developing valid statistical approaches. We believe that our experiences in conducting a series of IR experiments with industry grade data are valuable for peer researchers so that they can avoid the pitfalls that we have encountered. Furthermore, we identified challenges that need to be addressed in order to bridge the gap between laboratory IR experiments and real applications of IR in the industry.
• Abstract（参考訳）: ソフトウェア工学のアクティビティは情報集約的です。 調査では,トレーサビリティリンクの確立と維持,障害識別,ソフトウェアメンテナンスなど,技術者を日々のタスクで支援するための情報検索(IR)技術を提案する。 本稿では, 工学的課題, テストケースの選択, 問題解析とソリューション発見プロセスについて述べる。 この研究の目的は、ir技術(一つの潜在的な解決策)がどの程度テストケース選択に適用可能かを理解し、大規模産業環境で意思決定支援を提供することである。 研究対象企業の文脈において,テストケースの選択がどのように実行されるかを分析し,異なるIR技術の性能を評価する一連の実験を設計する。 それぞれの実験は、実装、実行、結果から学んだ教訓を提供し、後継に与える。 3つの実験は以下の観察につながった。 1) ソフトウェア工学問題に対するir技術のスケーラブルなパラメータ最適化に関する研究が不足している。 2) 産業データへのIR技術のスケーリングは,特に潜時意味分析において困難である。 3)IRの文脈は,IR技術の実証的評価に制約を生じさせ,有効な統計手法の開発にさらなる研究が必要である。 業界グレードのデータを用いた一連のIR実験を行った経験は、ピア研究者にとって価値があり、私たちが遭遇した落とし穴を避けることができると信じています。 さらに,実験室のIR実験と産業におけるIRの実応用とのギャップを埋めるため,対処すべき課題を明らかにした。

関連論文リスト

• Teaching Design Science as a Method for Effective Research Development [0.24578723416255752]
  デザインサイエンスリサーチ(DSR)方法論の適用は、情報システム(IS)とソフトウェア工学研究の一般的な作業資源になりつつある。 この章には、DSR、教育方法論、学習目的、レコメンデーションの例が含まれている。 我々は,デザインサイエンスのユーザ体験に関するデータ収集を目的とした調査成果を作成した。
  論文  参考訳（メタデータ） (2024-07-13T10:43:06Z)
• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
  本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。 従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T20:08:44Z)
• The Causal Chambers: Real Physical Systems as a Testbed for AI Methodology [10.81691411087626]
  AI、機械学習、統計学のいくつかの分野において、新しい方法やアルゴリズムの検証は、適切な実世界のデータセットの不足によって妨げられることが多い。 我々は,非自明だがよく理解された物理的システムから,大規模データセットを迅速かつ安価に生成できる2つのデバイスを構築した。
  論文  参考訳（メタデータ） (2024-04-17T13:00:52Z)
• A Systematic Literature Review on Explainability for Machine/Deep Learning-based Software Engineering Research [23.966640472958105]
  本稿では,ソフトウェア工学の文脈におけるAIモデルの説明可能性の向上を目的とした,体系的な文献レビューを行う。 我々は,XAI技術がこれまで成功してきたSEタスク,(2)異なるXAI手法の分類と分析,(3)既存の評価手法を考察することを目的としている。
  論文  参考訳（メタデータ） (2024-01-26T03:20:40Z)
• Information Retrieval Meets Large Language Models: A Strategic Report from Chinese IR Community [180.28262433004113]
  大規模言語モデル(LLM)は、テキスト理解、生成、知識推論において例外的な能力を示した。 LLMと人間は、情報検索のためにより強力な新しい技術パラダイムを形成します。 LLMがIR研究に与える影響を徹底的に議論するため、中国のIRコミュニティは2023年4月に戦略的ワークショップを開催した。
  論文  参考訳（メタデータ） (2023-07-19T05:23:43Z)
• Pitfalls in Experiments with DNN4SE: An Analysis of the State of the Practice [0.7614628596146599]
  我々は、ソフトウェアエンジニアリングのプレミア会場で発行された55の論文に現れるディープニューラルネットワークに依存する技術を用いて、194の実験を行い、マッピング研究を実施します。 以上の結果から,ACMアーティファクトバッジを受信した者を含む実験の大部分が,その信頼性に疑問を呈する根本的な限界があることが判明した。
  論文  参考訳（メタデータ） (2023-05-19T09:55:48Z)
• Wizard of Search Engine: Access to Information Through Conversations with Search Engines [58.53420685514819]
  我々は3つの側面からCISの研究を促進するために努力している。 目的検出(ID)、キーフレーズ抽出(KE)、行動予測(AP)、クエリ選択(QS)、通過選択(PS)、応答生成(RG)の6つのサブタスクでCIS用のパイプラインを定式化する。 検索エンジンのウィザード(WISE)と呼ばれるベンチマークデータセットをリリースし、CISのすべての側面について包括的かつ詳細な調査を可能にします。
  論文  参考訳（メタデータ） (2021-05-18T06:35:36Z)
• Artificial Intelligence for IT Operations (AIOPS) Workshop White Paper [50.25428141435537]
  AIOps(Artificial Intelligence for IT Operations)は、マシンラーニング、ビッグデータ、ストリーミング分析、IT運用管理の交差点で発生する、新たな学際分野である。 AIOPSワークショップの主な目的は、アカデミアと産業界の両方の研究者が集まり、この分野での経験、成果、作業について発表することです。
  論文  参考訳（メタデータ） (2021-01-15T10:43:10Z)
• Neural Methods for Effective, Efficient, and Exposure-Aware Information Retrieval [7.3371176873092585]
  情報検索の具体的なニーズと課題に動機づけられた新しいニューラルアーキテクチャと手法を紹介します。 多くの実生活のIRタスクにおいて、検索には数十億のドキュメントを含む商用Web検索エンジンのドキュメントインデックスなど、非常に大規模なコレクションが含まれる。
  論文  参考訳（メタデータ） (2020-12-21T21:20:16Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。