論文の概要: When less is more: Simplifying inputs aids neural network understanding

• arxiv url: http://arxiv.org/abs/2201.05610v1
• Date: Fri, 14 Jan 2022 18:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 14:11:43.029660
• Title: When less is more: Simplifying inputs aids neural network understanding
• Title（参考訳）: less is more: 入力の単純化はニューラルネットワークの理解を助ける
• Authors: Robin Tibor Schirrmeister, Rosanne Liu, Sara Hooker, Tonio Ball
• Abstract要約: 本研究では,事前学習した生成モデルによって与えられる符号化ビットサイズを用いて,単純さを計測する。 本稿では, 従来の訓練, データセットの凝縮, ポストホックな説明など, 単純化の効果について検討する。
• 参考スコア（独自算出の注目度）: 12.73748893809092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do neural network image classifiers respond to simpler and simpler inputs? And what do such responses reveal about the learning process? To answer these questions, we need a clear measure of input simplicity (or inversely, complexity), an optimization objective that correlates with simplification, and a framework to incorporate such objective into training and inference. Lastly we need a variety of testbeds to experiment and evaluate the impact of such simplification on learning. In this work, we measure simplicity with the encoding bit size given by a pretrained generative model, and minimize the bit size to simplify inputs in training and inference. We investigate the effect of such simplification in several scenarios: conventional training, dataset condensation and post-hoc explanations. In all settings, inputs are simplified along with the original classification task, and we investigate the trade-off between input simplicity and task performance. For images with injected distractors, such simplification naturally removes superfluous information. For dataset condensation, we find that inputs can be simplified with almost no accuracy degradation. When used in post-hoc explanation, our learning-based simplification approach offers a valuable new tool to explore the basis of network decisions.
• Abstract（参考訳）: ニューラルネットワークのイメージ分類器は、よりシンプルでシンプルな入力にどのように反応するか? そして、このような反応は学習プロセスに何をもたらすのか? これらの質問に答えるためには、入力の単純さ(あるいは逆の複雑さ)の明確な尺度、単純化と相関する最適化目標、そのような目標をトレーニングや推論に組み込むフレームワークが必要です。 最後に、このような単純化が学習に与える影響を実験し評価するために、さまざまなテストベッドが必要です。 本研究では,事前学習した生成モデルによって与えられた符号化ビットサイズで単純度を測定し,ビットサイズを最小化し,トレーニングや推論の入力を単純化する。 従来の学習,データセットの凝縮,ポストホックな説明など,いくつかのシナリオで単純化の効果について検討する。 すべての設定において、入力は元の分類タスクとともに単純化され、入力単純性とタスク性能のトレードオフについて検討する。 インジェクターを挿入した画像の場合、そのような単純化は自然に過剰な情報を除去する。 データセットの凝縮では、精度の劣化がほとんどなく、入力を単純化できる。 ポストホックな説明で使用する場合、学習ベースの単純化アプローチは、ネットワーク決定の基礎を探求する価値のある新しいツールを提供します。

関連論文リスト

• Pretraining with Random Noise for Fast and Robust Learning without Weight Transport [6.916179672407521]
  ランダムノイズを伴う事前学習ニューラルネットワークは、学習効率を向上し、重量輸送を伴わない一般化能力も向上することを示す。 ランダムノイズとデータの両方による連続的なトレーニングは、データのみによるトレーニングよりもシナプス的なフィードバックに近い重みをもたらす。 この事前正規化により、ネットワークは低ランクの単純な解を学習でき、その後の訓練における一般化損失を減らすことができる。
  論文  参考訳（メタデータ） (2024-05-27T00:12:51Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Is Cross-modal Information Retrieval Possible without Training? [4.616703548353372]
  Procrustes問題に対する解の最小二乗と特異値分解(SVD)から計算した単純な写像をとる。 すなわち、テキストのようなあるモダリティの情報が与えられた場合、このマッピングは、画像のような別のモダリティにおける意味的に等価なデータ項目を見つけるのに役立ちます。 既訓練の深層学習モデルを用いて,テキスト・ツー・イメージ検索と画像・トゥ・テキスト検索のタスクにおいて,上記の単純なモーダル・マッピングを実験した。
  論文  参考訳（メタデータ） (2023-04-20T02:36:18Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Towards Sample-efficient Overparameterized Meta-learning [37.676063120293044]
  機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。 本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。 最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
  論文  参考訳（メタデータ） (2022-01-16T21:57:17Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Robust Cell-Load Learning with a Small Sample Set [35.07023055409166]
  無線アクセスネットワーク(RAN)におけるセルロードの学習は、短期間で行わなければなりません。 比較的小さなトレーニングサンプルセットに基づく学習の必要性から生じる不確実性に対して堅牢な学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-21T19:17:01Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。