論文の概要: A Broad Comparative Evaluation of Software Debloating Tools
- arxiv url: http://arxiv.org/abs/2312.13274v2
- Date: Tue, 28 May 2024 19:33:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 23:50:38.822359
- Title: A Broad Comparative Evaluation of Software Debloating Tools
- Title（参考訳）: ソフトウェアデブロ化ツールの幅広い比較評価
- Authors: Michael D. Brown, Adam Meily, Brian Fairservice, Akshay Sood, Jonathan Dorn, Eric Kilmer, Ronald Eytchison,
- Abstract要約: ソフトウェアデ肥大化ツールは、bloatと呼ばれる不要なコードを削除することで、プログラムのセキュリティとパフォーマンスを改善しようとしている。
筆者らは,10年間のデブロ化文学と,デブロ化生態系に関する知識を分類するために現在,商業開発中のいくつかのツールを調査した。
評価は、20のベンチマークプログラム、12のパフォーマンス、セキュリティ、正当性の測定ツールに基づいて行われた。
- 参考スコア（独自算出の注目度）: 3.0913520619484287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software debloating tools seek to improve the program security and performance by removing unnecessary code, called bloat. While many techniques have been proposed, several barriers to their adoption have emerged. Namely, debloating tools are highly specialized, making it difficult for adopters to find the right type of tool for their needs. This is further hindered by a lack of established metrics and comparative evaluations between tools. To close this information gap, we surveyed 10 years of debloating literature and several tools currently under commercial development to taxonomize knowledge about the debloating ecosystem. We then conducted a broad comparative evaluation of 10 debloating tools to determine their relative strengths and weaknesses. Our evaluation, conducted on a diverse set of 20 benchmark programs, measures tools across 12 performance, security, and correctness metrics. Our evaluation surfaces several concerning findings that contradict the prevailing narrative in debloating literature. First, debloating tools lack the required maturity to be used on real-world software, evidenced by a slim 21\% overall success rate for creating passable debloated versions of medium- and high-complexity benchmarks. Second, debloating tools struggle to produce sound and robust programs. Using our novel differential fuzzing tool, DIFFER, we discovered that only 13\% of our debloating attempts produced a sound and robust debloated program. Finally, our results indicate that debloating tools typically do not improve the performance or security posture of debloated programs by a significant degree. We believe that our contributions in this paper will help potential adopters better understand the landscape of tools and will motivate future research and development of more capable debloating tools. To this end, we have made our benchmark set, data, and custom tools publicly available.
- Abstract（参考訳）: ソフトウェアデ肥大化ツールは、bloatと呼ばれる不要なコードを削除することで、プログラムのセキュリティとパフォーマンスを改善しようとしている。
多くのテクニックが提案されているが、採用への障壁がいくつか現れている。
すなわち、デ肥大化ツールは高度に専門化されており、採用者が自身のニーズに合ったタイプのツールを見つけることは困難である。
これは、確立されたメトリクスの欠如と、ツール間の比較評価によってさらに妨げられます。
この情報ギャップを埋めるため、我々は10年間にわたるデブロ化文学と、現在商業開発中のいくつかのツールを調査し、デブロ化エコシステムに関する知識を分類した。
次に, 相対的強度と弱さを判定するために, 10個の脱血ツールの広範囲な比較評価を行った。
評価は、20のベンチマークプログラム、12のパフォーマンス、セキュリティ、正当性の測定ツールに基づいて行われた。
筆者らの評価では, 脱血文学における一般的な物語と矛盾するいくつかの知見が浮かび上がっている。
まず、デ肥大化ツールには、現実のソフトウェアで使用するために必要な成熟度が欠如している。
第二に、デ肥大化ツールは健全で堅牢なプログラムを作成するのに苦労する。
新たなファジィファジィツールであるDIFFERを用いて、私たちのデ肥大化の試みのわずか13%が、健全で堅牢なデ肥大化プログラムを生み出したことがわかった。
最後に,この結果から,デ肥大化ツールは一般的に,デ肥大化プログラムの性能やセキュリティの姿勢を著しく改善しないことが明らかとなった。
この論文における私たちのコントリビューションは、潜在的な採用者がツールの展望をよりよく理解し、より有能なデブロ化ツールの今後の研究と開発を動機付けるだろうと信じています。
この目的のために、ベンチマークセット、データ、カスタムツールを公開しました。
関連論文リスト
- SoK: Software Debloating Landscape and Future Directions [3.5609179225884353]
マルチレベル分類の基盤となるソフトウェアのデブロ化ワークフローを概念化する。
このフレームワークは、インプット/アウトプットアーティファクト、デブレーション戦略、評価基準に従ってデブレーションツールを分類する。
論文 参考訳（メタデータ） (2024-07-15T21:52:21Z) - Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Static Application Security Testing (SAST) Tools for Smart Contracts: How Far Are We? [14.974832502863526]
近年,スマートコントラクトセキュリティの重要性が高まっている。
この問題に対処するため、スマートコントラクトの脆弱性を検出するために、多数の静的アプリケーションセキュリティテスト(SAST)ツールが提案されている。
本稿では,スマートコントラクトに対する45種類の脆弱性を含む,最新のきめ細かな分類法を提案する。
論文 参考訳（メタデータ） (2024-04-28T13:40:18Z) - What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。
LMが使用する外部プログラムとしてツールを統一的に定義する。
各種ツールの効率を実証的に検討した。
論文 参考訳（メタデータ） (2024-03-18T17:20:07Z) - StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models [74.88844320554284]
ToolBenchから進化したベンチマークであるStableToolBenchを紹介します。
仮想APIサーバには、キャッシングシステムとAPIシミュレータが含まれており、APIステータスの変更を緩和するための補完となる。
安定評価システムは、GPT-4を自動評価器として使用し、評価中のランダム性を排除し、解決可能なパスと勝利率を設計する。
論文 参考訳（メタデータ） (2024-03-12T14:57:40Z) - TOOLVERIFIER: Generalization to New Tools via Self-Verification [69.85190990517184]
本稿では,ツール選択中にコントラスト質問を自己問合せすることで,近接候補を識別する自己検証手法を提案する。
ToolBenchベンチマークによる4つのタスクの実験では、17の見えないツールで構成されており、数ショットのベースラインよりも平均22%改善されている。
論文 参考訳（メタデータ） (2024-02-21T22:41:38Z) - HunFlair2 in a cross-corpus evaluation of biomedical named entity
recognition and normalization tools [4.882266258243112]
バイオメディカルテキストマイニングツールを用いた企業名抽出のためのクロスコーパスベンチマークの結果について報告する。
以上の結果から,BTM ツールの利用者は,オリジナルの出版物と比較して性能低下を期待すべきであることが示唆された。
論文 参考訳（メタデータ） (2024-02-19T18:58:18Z) - AIBugHunter: A Practical Tool for Predicting, Classifying and Repairing
Software Vulnerabilities [27.891905729536372]
AIBugHunterは、C/C++言語用のMLベースのソフトウェア脆弱性分析ツールで、Visual Studio Codeに統合されている。
本稿では,新たな多目的最適化(MOO)に基づく脆弱性分類手法と,AIBugHunterが脆弱性タイプを正確に識別し,重症度を推定するためのトランスフォーマーに基づく評価手法を提案する。
論文 参考訳（メタデータ） (2023-05-26T04:21:53Z) - AI Explainability 360: Impact and Design [120.95633114160688]
2019年、私たちはAI Explainability 360(Arya et al. 2020)を開発しました。
本稿では,いくつかのケーススタディ,統計,コミュニティフィードバックを用いて,ツールキットが与える影響について検討する。
また,ツールキットのフレキシブルな設計,使用例,利用者が利用可能な教育資料や資料についても述べる。
論文 参考訳（メタデータ） (2021-09-24T19:17:09Z) - Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep
Learning [66.59455427102152]
不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。
各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。
モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
論文 参考訳（メタデータ） (2021-06-07T23:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。