論文の概要: How many views does your deep neural network use for prediction?

• arxiv url: http://arxiv.org/abs/2402.01095v1
• Date: Fri, 2 Feb 2024 01:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-05 17:17:32.542499
• Title: How many views does your deep neural network use for prediction?
• Title（参考訳）: ディープニューラルネットワークが予測に使用するビューはいくつですか?
• Authors: Keisuke Kawano and Takuro Kutsuna and Keisuke Sano
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)の一般化能力を説明するために、MSV(Minimum Sufficient Views)を提案する。 MSVはマルチビューに似ているが、実画像に対して効率的に計算できる。 実験により,MSV数とモデル間の予測精度との間には明らかな関係があることが判明した。
• 参考スコア（独自算出の注目度）: 5.448070998907116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generalization ability of Deep Neural Networks (DNNs) is still not fully understood, despite numerous theoretical and empirical analyses. Recently, Allen-Zhu & Li (2023) introduced the concept of multi-views to explain the generalization ability of DNNs, but their main target is ensemble or distilled models, and no method for estimating multi-views used in a prediction of a specific input is discussed. In this paper, we propose Minimal Sufficient Views (MSVs), which is similar to multi-views but can be efficiently computed for real images. MSVs is a set of minimal and distinct features in an input, each of which preserves a model's prediction for the input. We empirically show that there is a clear relationship between the number of MSVs and prediction accuracy across models, including convolutional and transformer models, suggesting that a multi-view like perspective is also important for understanding the generalization ability of (non-ensemble or non-distilled) DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(dnn)の一般化能力は、多くの理論と経験的分析にもかかわらず、まだ完全には理解されていない。 近年、Allen-Zhu & Li (2023) はDNNの一般化能力を説明するためにマルチビューの概念を導入したが、主なターゲットはアンサンブルまたは蒸留モデルであり、特定の入力の予測に使用されるマルチビューを推定する方法は議論されていない。 本稿では,マルチビューに類似するが,実画像に対して効率的に計算できるMSV(Minimal Sufficient Views)を提案する。 MSVは入力の最小限の特徴の集合であり、それぞれが入力に対するモデルの予測を保存する。 コンボリューションモデルやトランスフォーマモデルなど,モデル間のmvs数と予測精度の間には明確な関係があることを実証的に示し,多視点的視点が(非蒸留または非蒸留)dnnの一般化能力を理解する上で重要であることを示唆する。

関連論文リスト

• Uncertainty-Aware Graph Neural Networks: A Multi-Hop Evidence Fusion Approach [55.43914153271912]
  グラフニューラルネットワーク(GNN)は、グラフ構造とノード機能を統合することにより、グラフ表現学習に優れる。 既存のGNNでは、モデルの深さによって異なるクラス確率の不確実性を考慮することができず、現実のシナリオでは信頼できない、リスクの高い予測が生じる。 本稿では,信頼に値する予測を達成し,ノード分類精度を高め,誤予測のリスクを明らかにするために,新しいEvidence Fusing Graph Neural Network (EFGNN)を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:59:38Z)
• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• CAT: Interpretable Concept-based Taylor Additive Models [17.73885202930879]
  一般化付加モデル(GAM)は、機能レベルでディープニューラルネットワーク(DNN)を説明することができる。 GAMは多数のモデルパラメータを必要とし、オーバーフィットする傾向があり、トレーニングやスケールが困難になる。 我々は、このプロセスに対して、新しい解釈可能な概念bAsed Taylor加法モデルであるCATを提案する。
  論文  参考訳（メタデータ） (2024-06-25T20:43:15Z)
• Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
  公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。 本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。 様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
  論文  参考訳（メタデータ） (2024-04-22T04:16:40Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks [3.475906200620518]
  COCKATIELは、新しい、ポストホック、コンセプトベース、モデルに依存しないXAI技術である。 NLP分類タスクでトレーニングされたニューラルネットモデルの最後の層から意味のある説明を生成する。 基礎となるモデルの精度を損なうことなく、新しいモデルをトレーニングする必要もない。
  論文  参考訳（メタデータ） (2023-05-11T12:22:20Z)
• Where We Have Arrived in Proving the Emergence of Sparse Symbolic Concepts in AI Models [21.02716340199201]
  本研究の目的は、よく訓練されたディープニューラルネットワーク(DNN)における記号的概念(あるいはより正確にはスパースプリミティブ推論パターン)の出現を証明することである。 指数関数的に多数のランダムマスクされたサンプルに対するDNNの推測スコアは、ほんの数個の相互作用の数値効果によって常にうまく模倣できることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:32:28Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Neural Additive Models for Nowcasting [1.8275108630751844]
  ニューラルネットワーク予測のための説明力を提供するために,ニューラルネットワーク付加モデル(NAMs)を提案する。 提案したNAM-NCは,複数の変数と時間ステップに対する各入力値の重要性をうまく説明できることを示す。 また, NAM-NC を用いたパラメータ共有ネットワークを用いて, その複雑性を低減し, NAM-MC のハードタイトな特徴ネットを用いて, 性能のよい説明を抽出した。
  論文  参考訳（メタデータ） (2022-05-20T08:25:18Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Mixture of Linear Models Co-supervised by Deep Neural Networks [14.831346286039151]
  本稿では,比較的単純な説明可能なモデルとディープニューラルネットワーク(DNN)モデルとのギャップを埋めるためのアプローチを提案する。 私たちの主なアイデアは、DNNからのガイダンスでトレーニングされた差別モデルの組み合わせです。
  論文  参考訳（メタデータ） (2021-08-05T02:08:35Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Increasing Trustworthiness of Deep Neural Networks via Accuracy Monitoring [20.456742449675904]
  ディープニューラルネットワーク(DNN)の推論精度は重要なパフォーマンス指標であるが、実際のテストデータセットによって大きく異なる可能性がある。 これにより、特に安全クリティカルなアプリケーションにおいて、DNNの信頼性に関する重要な懸念が持ち上がっている。 本稿では、DNNのソフトマックス確率出力のみを入力とするニューラルネットワークに基づく精度監視モデルを提案する。
  論文  参考訳（メタデータ） (2020-07-03T03:09:36Z)
• One Versus all for deep Neural Network Incertitude (OVNNI) quantification [12.734278426543332]
  本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。 本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
  論文  参考訳（メタデータ） (2020-06-01T14:06:12Z)
• M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
  生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。 既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。 我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-01T05:21:37Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Visual Summary of Value-level Feature Attribution in Prediction Classes with Recurrent Neural Networks [26.632390778592367]
  異なる特徴値に対する時間的帰属を視覚的に要約する対話型システムViSFAを提案する。 我々は、複雑な属性をコンパクトで分かりやすい視覚化に蒸留することにより、RNN予測とデータからの洞察を明らかにするのに、ViSFAが役立つことを実証した。
  論文  参考訳（メタデータ） (2020-01-23T05:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。