論文の概要: Understanding Neural Code Intelligence Through Program Simplification
- arxiv url: http://arxiv.org/abs/2106.03353v1
- Date: Mon, 7 Jun 2021 05:44:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 17:22:53.555290
- Title: Understanding Neural Code Intelligence Through Program Simplification
- Title(参考訳): プログラムの単純化によるニューラルコードインテリジェンス理解
- Authors: Md Rafiqul Islam Rabin, Vincent J. Hellendoorn, Mohammad Amin Alipour
- Abstract要約: コードインテリジェンスシステムにおけるモデルに対する重要な入力特徴を特定するためのモデルに依存しないアプローチを提案する。
当社のアプローチであるSIVANDでは,CIモデルの入力プログラムのサイズを縮小する単純化手法を採用しています。
SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
- 参考スコア(独自算出の注目度): 3.9704927572880253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A wide range of code intelligence (CI) tools, powered by deep neural
networks, have been developed recently to improve programming productivity and
perform program analysis. To reliably use such tools, developers often need to
reason about the behavior of the underlying models and the factors that affect
them. This is especially challenging for tools backed by deep neural networks.
Various methods have tried to reduce this opacity in the vein of
"transparent/interpretable-AI". However, these approaches are often specific to
a particular set of network architectures, even requiring access to the
network's parameters. This makes them difficult to use for the average
programmer, which hinders the reliable adoption of neural CI systems. In this
paper, we propose a simple, model-agnostic approach to identify critical input
features for models in CI systems, by drawing on software debugging research,
specifically delta debugging. Our approach, SIVAND, uses simplification
techniques that reduce the size of input programs of a CI model while
preserving the predictions of the model. We show that this approach yields
remarkably small outputs and is broadly applicable across many model
architectures and problem domains. We find that the models in our experiments
often rely heavily on just a few syntactic features in input programs. We
believe that SIVAND's extracted features may help understand neural CI systems'
predictions and learned behavior.
- Abstract(参考訳): 深層ニューラルネットワークを用いた幅広いコードインテリジェンス(ci)ツールが近年開発され,プログラム生産性の向上とプログラム解析が実現されている。
そのようなツールを確実に使用するには、開発者は基礎となるモデルの振る舞いとそれに影響する要因について考える必要がある。
これはディープニューラルネットワークが支援するツールにとって特に難しい。
様々な手法が「透明/解釈可能なAI」の静脈におけるこの不透明度を減らそうとしている。
しかし、これらのアプローチは、しばしば特定のネットワークアーキテクチャに特化しており、ネットワークのパラメータにアクセスする必要さえある。
これにより、平均的なプログラマでの使用が難しくなり、ニューラルCIシステムの信頼性が損なわれる。
本稿では,ソフトウェアデバッグ研究,特にデルタデバッギングを参考に,CIシステムにおけるモデルに対する重要な入力特徴を特定するための,シンプルなモデルに依存しないアプローチを提案する。
我々のアプローチであるSIVANDは、モデルの予測を保ちながらCIモデルの入力プログラムのサイズを縮小する単純化手法を用いています。
このアプローチは極めて小さな出力をもたらし、多くのモデルアーキテクチャや問題領域に広く適用可能であることを示す。
実験のモデルは、入力プログラムの構文的特徴にのみ依存することが多いことが分かりました。
SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2024-02-02T20:33:14Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Interpretability of an Interaction Network for identifying $H
\rightarrow b\bar{b}$ jets [4.553120911976256]
近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。
我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。
さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
論文 参考訳(メタデータ) (2022-11-23T08:38:52Z) - NeuralUQ: A comprehensive library for uncertainty quantification in
neural differential equations and operators [0.0]
機械学習における不確実性定量化(UQ)は、現在、研究の関心が高まっている。
我々は,SciMLのUQメソッドを便利かつ構造化した方法で使用するために,NeuralUQと呼ばれるオープンソースのPythonライブラリを提案する。
論文 参考訳(メタデータ) (2022-08-25T04:28:18Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳(メタデータ) (2022-08-11T20:17:02Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - A comparative study of neural network techniques for automatic software
vulnerability detection [9.443081849443184]
ソフトウェア脆弱性を検出する最も一般的な方法は静的解析である。
一部の研究者は、検出の知性を改善するために自動特徴抽出機能を持つニューラルネットワークの使用を提案している。
2つの典型的なニューラルネットワークの性能をテストするための広範な実験を実施しました。
論文 参考訳(メタデータ) (2021-04-29T01:47:30Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Computation on Sparse Neural Networks: an Inspiration for Future
Hardware [20.131626638342706]
スパースニューラルネットワークの計算に関する研究の現状について述べる。
本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。
実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
論文 参考訳(メタデータ) (2020-04-24T19:13:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。