論文の概要: Knowledge-Based Version Incompatibility Detection for Deep Learning
- arxiv url: http://arxiv.org/abs/2308.13276v2
- Date: Mon, 28 Aug 2023 14:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 12:35:45.731908
- Title: Knowledge-Based Version Incompatibility Detection for Deep Learning
- Title(参考訳): ディープラーニングのための知識ベースバージョン不整合検出
- Authors: Zhongkai Zhao, Bonan Kou, Mohamed Yilmaz Ibrahim, Muhao Chen, Tianyi
Zhang
- Abstract要約: 我々は、Stack OverflowからDLバージョン問題に関する豊富な議論を活用して、バージョン非互換性の検出を容易にすることを提案する。
質問応答(QA)問題として知識抽出の問題を修正し,事前学習したQAモデルを用いてバージョン互換性知識を抽出する。
- 参考スコア(独自算出の注目度): 32.116361254082086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Version incompatibility issues are rampant when reusing or reproducing deep
learning models and applications. Existing techniques are limited to library
dependency specifications declared in PyPI. Therefore, these techniques cannot
detect version issues due to undocumented version constraints or issues
involving hardware drivers or OS. To address this challenge, we propose to
leverage the abundant discussions of DL version issues from Stack Overflow to
facilitate version incompatibility detection. We reformulate the problem of
knowledge extraction as a Question-Answering (QA) problem and use a pre-trained
QA model to extract version compatibility knowledge from online discussions.
The extracted knowledge is further consolidated into a weighted knowledge graph
to detect potential version incompatibilities when reusing a DL project. Our
evaluation results show that (1) our approach can accurately extract version
knowledge with 84% accuracy, and (2) our approach can accurately identify 65%
of known version issues in 10 popular DL projects with a high precision (92%),
while two state-of-the-art approaches can only detect 29% and 6% of these
issues with 33% and 17% precision respectively.
- Abstract(参考訳): 深層学習モデルやアプリケーションを再利用または再現する場合、バージョン非互換性の問題が増大する。
既存のテクニックは、PyPIで宣言されたライブラリ依存仕様に限られている。
したがって、これらの技術は、未文書のバージョン制約やハードウェアドライバやOSに関わる問題により、バージョン問題を検出することができない。
この課題に対処するため、我々はstack overflowからdlバージョン問題に関する豊富な議論を活用し、バージョン非互換性検出を容易にすることを提案する。
質問応答(QA)問題として知識抽出の問題を修正し,事前学習したQAモデルを用いて,オンラインディスカッションからバージョン互換性知識を抽出する。
抽出した知識を重み付き知識グラフに統合し、DLプロジェクト再利用時の潜在的なバージョン非互換性を検出する。
評価の結果,(1)本手法は84%の精度でバージョン知識を抽出でき,(2)人気のある10のdlプロジェクトの既知のバージョン問題の65%を高い精度(92%)で正確に識別できる,一方,2つの最先端手法では33%と17%の精度でこれらの問題の29%と6%しか検出できないことがわかった。
関連論文リスト
- Bridging the Gap Between End-to-End and Two-Step Text Spotting [88.14552991115207]
ブリッジングテキストスポッティングは、2段階のメソッドでエラーの蓄積と最適化性能の問題を解決する新しいアプローチである。
提案手法の有効性を広範囲な実験により実証する。
論文 参考訳(メタデータ) (2024-04-06T13:14:04Z) - KnowGPT: Knowledge Injection for Large Language Models [30.310481799206546]
我々は,ジェネレーティブ・大型言語モデル(LLM)のためのブラックボックス知識注入フレームワークであるKnowGPTを紹介した。
KnowGPTは、深い強化学習(RL)を活用して知識グラフ(KGs)から関連する知識を抽出し、マルチアーメッド帯域(MAB)を使用して各質問に最も適したプロンプトを構築する。
KnowGPTはChatGPTよりも平均23.7%改善し、GPT-4より平均2.9%改善した。
論文 参考訳(メタデータ) (2023-12-11T07:56:25Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳(メタデータ) (2023-11-26T22:47:54Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z) - Cross Project Software Vulnerability Detection via Domain Adaptation and
Max-Margin Principle [21.684043656053106]
ソフトウェア脆弱性(SV)は、コンピュータソフトウェアの普及により、一般的で深刻な問題となっている。
これら2つの重要な問題に対処するための新しいエンドツーエンドアプローチを提案する。
提案手法は, SVDにおける最重要尺度であるF1尺度の精度を, 使用データセットの2番目に高い手法と比較して1.83%から6.25%に向上させる。
論文 参考訳(メタデータ) (2022-09-19T23:47:22Z) - ActKnow: Active External Knowledge Infusion Learning for Question
Answering in Low Data Regime [7.562843347215286]
知識グラフ(KG)をベースとした「オンデマンド」から質問回答(QA)の学習に積極的に知識を注入する手法を提案する。
我々は、低データ構造におけるRoBERTaのような純粋テキストベースのトランスフォーマーモデルに対して、ARC Challenge-setベンチマークを著しく改善したことを示す。
論文 参考訳(メタデータ) (2021-12-17T10:39:41Z) - Automated Mapping of Vulnerability Advisories onto their Fix Commits in
Open Source Repositories [7.629717457706326]
実践経験と機械学習(ML)を組み合わせたアプローチを提案する。
アドバイザリから脆弱性に関する鍵情報を含むアドバイザリレコードを抽出する。
影響を受けるプロジェクトのソースコードリポジトリから、候補となる修正コミットのサブセットを取得する。
論文 参考訳(メタデータ) (2021-03-24T17:50:35Z) - Enhancing Robustness of On-line Learning Models on Highly Noisy Data [7.812139470551903]
新たに設計されたアンサンブル予測を備えたRobust Anomaly Detector(RAD)の2層オンラインデータ選択フレームワークを拡張します。
RADは、異常検出の精度を確実に改善し、IoTデバイス攻撃の98.95%、クラウドタスク障害の85.03%、顔認識の77.51%まで到達することができる。
論文 参考訳(メタデータ) (2021-03-19T14:13:16Z) - Knowledge-Routed Visual Question Reasoning: Challenges for Deep
Representation Embedding [140.5911760063681]
VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。
視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
論文 参考訳(メタデータ) (2020-12-14T00:33:44Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳(メタデータ) (2020-05-06T15:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。