論文の概要: Understanding Neural Code Intelligence Through Program Simplification
- arxiv url: http://arxiv.org/abs/2106.03353v1
- Date: Mon, 7 Jun 2021 05:44:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 17:22:53.555290
- Title: Understanding Neural Code Intelligence Through Program Simplification
- Title（参考訳）: プログラムの単純化によるニューラルコードインテリジェンス理解
- Authors: Md Rafiqul Islam Rabin, Vincent J. Hellendoorn, Mohammad Amin Alipour
- Abstract要約: コードインテリジェンスシステムにおけるモデルに対する重要な入力特徴を特定するためのモデルに依存しないアプローチを提案する。
当社のアプローチであるSIVANDでは,CIモデルの入力プログラムのサイズを縮小する単純化手法を採用しています。
SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
- 参考スコア（独自算出の注目度）: 3.9704927572880253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A wide range of code intelligence (CI) tools, powered by deep neural
networks, have been developed recently to improve programming productivity and
perform program analysis. To reliably use such tools, developers often need to
reason about the behavior of the underlying models and the factors that affect
them. This is especially challenging for tools backed by deep neural networks.
Various methods have tried to reduce this opacity in the vein of
"transparent/interpretable-AI". However, these approaches are often specific to
a particular set of network architectures, even requiring access to the
network's parameters. This makes them difficult to use for the average
programmer, which hinders the reliable adoption of neural CI systems. In this
paper, we propose a simple, model-agnostic approach to identify critical input
features for models in CI systems, by drawing on software debugging research,
specifically delta debugging. Our approach, SIVAND, uses simplification
techniques that reduce the size of input programs of a CI model while
preserving the predictions of the model. We show that this approach yields
remarkably small outputs and is broadly applicable across many model
architectures and problem domains. We find that the models in our experiments
often rely heavily on just a few syntactic features in input programs. We
believe that SIVAND's extracted features may help understand neural CI systems'
predictions and learned behavior.
- Abstract（参考訳）: 深層ニューラルネットワークを用いた幅広いコードインテリジェンス(ci)ツールが近年開発され,プログラム生産性の向上とプログラム解析が実現されている。
そのようなツールを確実に使用するには、開発者は基礎となるモデルの振る舞いとそれに影響する要因について考える必要がある。
これはディープニューラルネットワークが支援するツールにとって特に難しい。
様々な手法が「透明/解釈可能なAI」の静脈におけるこの不透明度を減らそうとしている。
しかし、これらのアプローチは、しばしば特定のネットワークアーキテクチャに特化しており、ネットワークのパラメータにアクセスする必要さえある。
これにより、平均的なプログラマでの使用が難しくなり、ニューラルCIシステムの信頼性が損なわれる。
本稿では,ソフトウェアデバッグ研究,特にデルタデバッギングを参考に,CIシステムにおけるモデルに対する重要な入力特徴を特定するための,シンプルなモデルに依存しないアプローチを提案する。
我々のアプローチであるSIVANDは、モデルの予測を保ちながらCIモデルの入力プログラムのサイズを縮小する単純化手法を用いています。
このアプローチは極めて小さな出力をもたらし、多くのモデルアーキテクチャや問題領域に広く適用可能であることを示す。
実験のモデルは、入力プログラムの構文的特徴にのみ依存することが多いことが分かりました。
SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
関連論文リスト
- Toward Neurosymbolic Program Comprehension [46.874490406174644]
我々は,既存のDL技術の強みと従来の象徴的手法を組み合わせたニューロシンボリック研究の方向性を提唱する。
第1回ニューロシンボリック・プログラム・フレームワークの確立をめざして,提案するアプローチの予備的結果を示す。
論文 参考訳（メタデータ） (2025-02-03T20:38:58Z) - Evaluating Single Event Upsets in Deep Neural Networks for Semantic Segmentation: an embedded system perspective [1.474723404975345]
本稿では,組み込みディープニューラルネットワーク(DNN)のロバスト性評価について述べる。
本研究は,様々なエンコーダデコーダモデルの層間およびビット間感度をソフトエラーに精査することにより,セグメント化DNNのSEUに対する脆弱性を徹底的に調査する。
本稿では,資源制約によるデプロイメントに適したメモリや計算コストを伴わない,実用的な軽量なエラー軽減手法を提案する。
論文 参考訳（メタデータ） (2024-12-04T18:28:38Z) - NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。
NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。
NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
論文 参考訳（メタデータ） (2024-07-18T17:59:01Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - NeuralUQ: A comprehensive library for uncertainty quantification in
neural differential equations and operators [0.0]
機械学習における不確実性定量化(UQ)は、現在、研究の関心が高まっている。
我々は,SciMLのUQメソッドを便利かつ構造化した方法で使用するために,NeuralUQと呼ばれるオープンソースのPythonライブラリを提案する。
論文 参考訳（メタデータ） (2022-08-25T04:28:18Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳（メタデータ） (2022-08-11T20:17:02Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - A comparative study of neural network techniques for automatic software
vulnerability detection [9.443081849443184]
ソフトウェア脆弱性を検出する最も一般的な方法は静的解析である。
一部の研究者は、検出の知性を改善するために自動特徴抽出機能を持つニューラルネットワークの使用を提案している。
2つの典型的なニューラルネットワークの性能をテストするための広範な実験を実施しました。
論文 参考訳（メタデータ） (2021-04-29T01:47:30Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。