論文の概要: How many views does your deep neural network use for prediction?

• arxiv url: http://arxiv.org/abs/2402.01095v1
• Date: Fri, 2 Feb 2024 01:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 17:17:32.542499
• Title: How many views does your deep neural network use for prediction?
• Title（参考訳）: ディープニューラルネットワークが予測に使用するビューはいくつですか?
• Authors: Keisuke Kawano and Takuro Kutsuna and Keisuke Sano
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)の一般化能力を説明するために、MSV(Minimum Sufficient Views)を提案する。 MSVはマルチビューに似ているが、実画像に対して効率的に計算できる。 実験により,MSV数とモデル間の予測精度との間には明らかな関係があることが判明した。
• 参考スコア（独自算出の注目度）: 5.448070998907116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generalization ability of Deep Neural Networks (DNNs) is still not fully understood, despite numerous theoretical and empirical analyses. Recently, Allen-Zhu & Li (2023) introduced the concept of multi-views to explain the generalization ability of DNNs, but their main target is ensemble or distilled models, and no method for estimating multi-views used in a prediction of a specific input is discussed. In this paper, we propose Minimal Sufficient Views (MSVs), which is similar to multi-views but can be efficiently computed for real images. MSVs is a set of minimal and distinct features in an input, each of which preserves a model's prediction for the input. We empirically show that there is a clear relationship between the number of MSVs and prediction accuracy across models, including convolutional and transformer models, suggesting that a multi-view like perspective is also important for understanding the generalization ability of (non-ensemble or non-distilled) DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)の一般化能力は、多くの理論と経験的分析にもかかわらず、まだ完全には理解されていない。 近年、Allen-Zhu & Li (2023) はDNNの一般化能力を説明するためにマルチビューの概念を導入したが、主なターゲットはアンサンブルまたは蒸留モデルであり、特定の入力の予測に使用されるマルチビューを推定する方法は議論されていない。 本稿では,マルチビューに類似するが,実画像に対して効率的に計算できるMSV(Minimal Sufficient Views)を提案する。 MSVは入力の最小限の特徴の集合であり、それぞれが入力に対するモデルの予測を保存する。 コンボリューションモデルやトランスフォーマモデルなど,モデル間のmvs数と予測精度の間には明確な関係があることを実証的に示し,多視点的視点が(非蒸留または非蒸留)dnnの一般化能力を理解する上で重要であることを示唆する。

関連論文リスト

• CAT: Interpretable Concept-based Taylor Additive Models [17.73885202930879]
  一般化付加モデル(GAM)は、機能レベルでディープニューラルネットワーク(DNN)を説明することができる。 GAMは多数のモデルパラメータを必要とし、オーバーフィットする傾向があり、トレーニングやスケールが困難になる。 我々は、このプロセスに対して、新しい解釈可能な概念bAsed Taylor加法モデルであるCATを提案する。
  論文  参考訳（メタデータ） (2024-06-25T20:43:15Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks [3.475906200620518]
  COCKATIELは、新しい、ポストホック、コンセプトベース、モデルに依存しないXAI技術である。 NLP分類タスクでトレーニングされたニューラルネットモデルの最後の層から意味のある説明を生成する。 基礎となるモデルの精度を損なうことなく、新しいモデルをトレーニングする必要もない。
  論文  参考訳（メタデータ） (2023-05-11T12:22:20Z)
• Neural Additive Models for Nowcasting [1.8275108630751844]
  ニューラルネットワーク予測のための説明力を提供するために,ニューラルネットワーク付加モデル(NAMs)を提案する。 提案したNAM-NCは,複数の変数と時間ステップに対する各入力値の重要性をうまく説明できることを示す。 また, NAM-NC を用いたパラメータ共有ネットワークを用いて, その複雑性を低減し, NAM-MC のハードタイトな特徴ネットを用いて, 性能のよい説明を抽出した。
  論文  参考訳（メタデータ） (2022-05-20T08:25:18Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Visual Summary of Value-level Feature Attribution in Prediction Classes with Recurrent Neural Networks [26.632390778592367]
  異なる特徴値に対する時間的帰属を視覚的に要約する対話型システムViSFAを提案する。 我々は、複雑な属性をコンパクトで分かりやすい視覚化に蒸留することにより、RNN予測とデータからの洞察を明らかにするのに、ViSFAが役立つことを実証した。
  論文  参考訳（メタデータ） (2020-01-23T05:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。