論文の概要: Toward a Theory of Causation for Interpreting Neural Code Models
- arxiv url: http://arxiv.org/abs/2302.03788v1
- Date: Tue, 7 Feb 2023 22:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 18:01:22.800348
- Title: Toward a Theory of Causation for Interpreting Neural Code Models
- Title(参考訳): ニューラルコードモデル解釈のための因果理論に向けて
- Authors: David N. Palacio and Nathan Cooper and Alvaro Rodriguez and Kevin
Moran and Denys Poshyvanyk
- Abstract要約: 本稿では,Nuural Language Models of Code(NCM)に特化したポストホック解釈可能性方法論である$do_code$を紹介する。
本稿では,プログラミング言語におけるモデル動作の説明を基礎として,素早い相関の影響を軽減することを目的とした,具体的なインスタンス化を提案する。
このケーススタディの結果から,NCMはコード構文の変化に敏感であり,他のプログラミング言語と比べ,バイアスの少ないコードのブロックに関連するトークンを統計的に予測できることが示唆された。
- 参考スコア(独自算出の注目度): 20.496240986973334
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neural Language Models of Code, or Neural Code Models (NCMs), are rapidly
progressing from research prototypes to commercial developer tools. As such,
understanding the capabilities and limitations of such models is becoming
critical. However, the abilities of these models are typically measured using
automated metrics that often only reveal a portion of their real-world
performance. While, in general, the performance of NCMs appears promising,
currently much is unknown about how such models arrive at decisions. To this
end, this paper introduces $do_{code}$, a post-hoc interpretability methodology
specific to NCMs that is capable of explaining model predictions. $do_{code}$
is based upon causal inference to enable programming language-oriented
explanations. While the theoretical underpinnings of $do_{code}$ are extensible
to exploring different model properties, we provide a concrete instantiation
that aims to mitigate the impact of spurious correlations by grounding
explanations of model behavior in properties of programming languages. To
demonstrate the practical benefit of $do_{code}$, we illustrate the insights
that our framework can provide by performing a case study on two popular deep
learning architectures and nine NCMs. The results of this case study illustrate
that our studied NCMs are sensitive to changes in code syntax and statistically
learn to predict tokens related to blocks of code (e.g., brackets, parenthesis,
semicolon) with less confounding bias as compared to other programming language
constructs. These insights demonstrate the potential of $do_{code}$ as a useful
model debugging mechanism that may aid in discovering biases and limitations in
NCMs.
- Abstract(参考訳): コードのニューラル言語モデル(neural code model,ncms)は、研究プロトタイプから商用開発ツールへと急速に進歩している。
このように、そのようなモデルの能力と限界を理解することが重要になっている。
しかしながら、これらのモデルの能力は通常、実際のパフォーマンスの一部だけを明らかにする自動メトリクスを使用して測定される。
一般的には、NCMのパフォーマンスは有望であるように思われるが、現在、そのようなモデルがどのように決定に達するかは不明である。
そこで本研究では,モデル予測を記述可能なNCMに特有のポストホック解釈可能性手法である$do_{code}$を紹介する。
$do_{code}$は、言語指向の説明を可能にする因果推論に基づいている。
do_{code}$の理論的基盤は、異なるモデル特性を探索するために拡張可能であるが、プログラミング言語の性質におけるモデル挙動の説明を基礎として、突発的相関の影響を軽減することを目的とした具体的なインスタンス化を提供する。
do_{code}$の実際的な利点を示すために、2つの一般的なディープラーニングアーキテクチャと9つのncmをケーススタディすることで、フレームワークが提供できる洞察を説明します。
このケース・スタディの結果から,ntmはコード構文の変化に敏感であり,他のプログラミング言語の構文に比べて偏りが少なく,コードブロック(ブラケット,括弧,セミコロンなど)に関連するトークンを統計的に予測できることがわかった。
これらの洞察は、NCMのバイアスや制限を発見するのに役立つ有用なモデルデバッグメカニズムとして$do_{code}$の可能性を示している。
関連論文リスト
- CogBench: a large language model walks into a psychology lab [12.981407327149679]
本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。
本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。
オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
論文 参考訳(メタデータ) (2024-02-28T10:43:54Z) - Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳(メタデータ) (2023-10-03T00:57:26Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳(メタデータ) (2023-06-25T02:39:19Z) - Incorporating Domain Knowledge in Deep Neural Networks for Discrete
Choice Models [0.5801044612920815]
本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。
これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。
ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
論文 参考訳(メタデータ) (2023-05-30T12:53:55Z) - Counterfactual Explanations for Models of Code [11.678590247866534]
機械学習(ML)モデルは、多くのソフトウェアエンジニアリングタスクにおいて、ますます一般的な役割を担っている。
開発者が、なぜモデルが一定の結論に達したのか、モデルの予測にどのように対応すべきかを理解するのは難しいかもしれません。
本稿では,ソースコードのモデルに対する反実的説明について考察する。
論文 参考訳(メタデータ) (2021-11-10T14:44:19Z) - Understanding Neural Code Intelligence Through Program Simplification [3.9704927572880253]
コードインテリジェンスシステムにおけるモデルに対する重要な入力特徴を特定するためのモデルに依存しないアプローチを提案する。
当社のアプローチであるSIVANDでは,CIモデルの入力プログラムのサイズを縮小する単純化手法を採用しています。
SIVANDの抽出した特徴は、ニューラルCIシステムの予測と学習行動を理解するのに役立つと信じている。
論文 参考訳(メタデータ) (2021-06-07T05:44:29Z) - Explaining and Improving Model Behavior with k Nearest Neighbor
Representations [107.24850861390196]
モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。
我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。
以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
論文 参考訳(メタデータ) (2020-10-18T16:55:25Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳(メタデータ) (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。