論文の概要: Study of Distractors in Neural Models of Code

• arxiv url: http://arxiv.org/abs/2303.01739v1
• Date: Fri, 3 Mar 2023 06:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:01:34.217953
• Title: Study of Distractors in Neural Models of Code
• Title（参考訳）: 符号のニューラルモデルにおけるディトラクタの検討
• Authors: Md Rafiqul Islam Rabin, Aftab Hussain, Sahil Suneja and Mohammad Amin Alipour
• Abstract要約: ニューラルネットワークの予測に寄与する重要な特徴を見つけることは、説明可能なAIの研究の活発な領域である。 本研究では,その予測に対するモデルの信頼度に影響を与えることによって,予測に疑問を呈する特徴について考察する。 さまざまなタスク、モデル、コードのデータセットにわたる実験により、トークンの削除が予測におけるモデルの信頼性に大きな影響を与えることが判明した。
• 参考スコア（独自算出の注目度）: 4.043200001974071
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding important features that contribute to the prediction of neural models is an active area of research in explainable AI. Neural models are opaque and finding such features sheds light on a better understanding of their predictions. In contrast, in this work, we present an inverse perspective of distractor features: features that cast doubt about the prediction by affecting the model's confidence in its prediction. Understanding distractors provide a complementary view of the features' relevance in the predictions of neural models. In this paper, we apply a reduction-based technique to find distractors and provide our preliminary results of their impacts and types. Our experiments across various tasks, models, and datasets of code reveal that the removal of tokens can have a significant impact on the confidence of models in their predictions and the categories of tokens can also play a vital role in the model's confidence. Our study aims to enhance the transparency of models by emphasizing those tokens that significantly influence the confidence of the models.
• Abstract（参考訳）: 神経モデルの予測に寄与する重要な特徴を見つけることは、説明可能なaiの研究の活発な領域である。 ニューラルモデルは不透明であり、そのような特徴は予測をより深く理解することにつながる。 これとは対照的に,本研究では,モデルの予測に対する信頼度に影響を与えることによって,予測に疑問を呈する特徴という,散逸する特徴の逆の視点を提示する。 気晴らしを理解することは、神経モデルの予測における特徴の関連性の補足的な視点を提供する。 本稿では,その影響とタイプに関する予備的な結果を提供するために,リダクションに基づく手法を適用した。 さまざまなタスク、モデル、コードのデータセットにわたる実験により、トークンの削除が予測におけるモデルの信頼性に重大な影響を与え、トークンのカテゴリがモデルの信頼性に重要な役割を果たすことが明らかになりました。 本研究の目的は,モデルの信頼性に大きな影響を及ぼすトークンを強調し,モデルの透明性を高めることである。

関連論文リスト

• Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
  そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。 本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
  論文  参考訳（メタデータ） (2024-08-24T18:28:19Z)
• Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning [4.124934010794795]
  自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。 本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。 以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T12:01:16Z)
• What Do Deep Saliency Models Learn about Visual Attention? [28.023464783469738]
  本稿では,サリエンシモデルによって学習された暗黙的特徴に光を当てる新しい分析フレームワークを提案する。 提案手法では,これらの暗黙的特徴を意味的属性に明示的に一致した解釈可能なベースに分解する。
  論文  参考訳（メタデータ） (2023-10-14T23:15:57Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution [3.3758186776249928]
  予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。 我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。 モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-01T23:20:57Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。