論文の概要: Estimating informativeness of samples with Smooth Unique Information

• arxiv url: http://arxiv.org/abs/2101.06640v1
• Date: Sun, 17 Jan 2021 10:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 20:21:38.126589
• Title: Estimating informativeness of samples with Smooth Unique Information
• Title（参考訳）: Smooth Unique Information を用いたサンプルの情報性の推定
• Authors: Hrayr Harutyunyan, Alessandro Achille, Giovanni Paolini, Orchid Majumder, Avinash Ravichandran, Rahul Bhotika, Stefano Soatto
• Abstract要約: サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
• 参考スコア（独自算出の注目度）: 108.25192785062367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We define a notion of information that an individual sample provides to the training of a neural network, and we specialize it to measure both how much a sample informs the final weights and how much it informs the function computed by the weights. Though related, we show that these quantities have a qualitatively different behavior. We give efficient approximations of these quantities using a linearized network and demonstrate empirically that the approximation is accurate for real-world architectures, such as pre-trained ResNets. We apply these measures to several problems, such as dataset summarization, analysis of under-sampled classes, comparison of informativeness of different data sources, and detection of adversarial and corrupted examples. Our work generalizes existing frameworks but enjoys better computational properties for heavily over-parametrized models, which makes it possible to apply it to real-world networks.
• Abstract（参考訳）: 我々は、個々のサンプルがニューラルネットワークのトレーニングに与える情報の概念を定義し、サンプルが最終的な重み付けにどの程度情報を与えるか、重みによって計算された関数にどの程度情報を与えるかを計測する。 関連があるものの、これらの量は定性的に異なる挙動を示す。 線形化ネットワークを用いてこれらの量の効率的な近似を行い、事前学習された再ネットのような実世界のアーキテクチャにおいて近似が正確であることを実証的に示す。 これらの手法を,データセットの要約,アンダーサンプリングクラスの解析,異なるデータソースのインフォメーション性の比較,逆および破損例の検出など,いくつかの問題に適用する。 我々の研究は既存のフレームワークを一般化するが、過度にパラメータ化されたモデルでより優れた計算特性を享受し、実世界のネットワークに適用することができる。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Conditional Variational Autoencoder for Learned Image Reconstruction [5.487951901731039]
  本研究では,未知画像の後部分布を問合せ観測で近似する新しいフレームワークを開発する。 暗黙のノイズモデルと先行処理を処理し、データ生成プロセス(フォワード演算子)を組み込み、学習された再構成特性は異なるデータセット間で転送可能である。
  論文  参考訳（メタデータ） (2021-10-22T10:02:48Z)
• A Theoretical Analysis of Fine-tuning with Linear Teachers [31.849269592822296]
  ファインチューニングはディープラーニングにおいて一般的なプラクティスであり、比較的少ないトレーニングデータを使用して下流タスクで優れた結果を得ることができる。 微調整の成功は、ソースタスクと対象タスクの類似性に依存するが、測定は自明ではない。
  論文  参考訳（メタデータ） (2021-07-04T14:15:50Z)
• Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
  本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。 サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。 本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T15:46:50Z)
• MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
  MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。 このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
  論文  参考訳（メタデータ） (2021-04-21T14:24:26Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。