論文の概要: Superposition through Active Learning lens

• arxiv url: http://arxiv.org/abs/2412.16168v1
• Date: Thu, 05 Dec 2024 21:02:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 08:57:54.137819
• Title: Superposition through Active Learning lens
• Title（参考訳）: 能動学習レンズによる重ね合わせ
• Authors: Akanksha Devkar,
• Abstract要約: 重ね合わせ(英: superposition)またはニューロン多意味性(英: neuron polysemanticity)は、解釈可能性の分野において重要な概念である。 本稿では,能動学習法を用いて重ね合わせを復号化できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Superposition or Neuron Polysemanticity are important concepts in the field of interpretability and one might say they are these most intricately beautiful blockers in our path of decoding the Machine Learning black-box. The idea behind this paper is to examine whether it is possible to decode Superposition using Active Learning methods. While it seems that Superposition is an attempt to arrange more features in smaller space to better utilize the limited resources, it might be worth inspecting if Superposition is dependent on any other factors. This paper uses CIFAR-10 and Tiny ImageNet image datasets and the ResNet18 model and compares Baseline and Active Learning models and the presence of Superposition in them is inspected across multiple criteria, including t-SNE visualizations, cosine similarity histograms, Silhouette Scores, and Davies-Bouldin Indexes. Contrary to our expectations, the active learning model did not significantly outperform the baseline in terms of feature separation and overall accuracy. This suggests that non-informative sample selection and potential overfitting to uncertain samples may have hindered the active learning model's ability to generalize better suggesting more sophisticated approaches might be needed to decode superposition and potentially reduce it.
• Abstract（参考訳）: 重ね合わせ(superposition)あるいはニューロン多義性(neuron polysemanticity)は、解釈可能性(interpretability)の分野で重要な概念であり、これらは機械学習のブラックボックスを復号する過程において、最も複雑に美しいブロッカであると言えるかもしれない。 本研究の目的は,能動学習法を用いて重ね合わせを復号化できるかどうかを検討することである。 スーパーポジションは、限られた資源をよりよく活用するために、より小さな空間により多くの機能を配置しようとする試みのようだが、スーパーポジションが他の要因に依存しているかどうかを検査する価値があるかもしれない。 本稿では,CIFAR-10とTiny ImageNetの画像データセットとResNet18モデルを用いて,ベースラインモデルとアクティブラーニングモデルを比較し,それらに含まれる重ね合わせの有無を,t-SNE可視化,コサイン類似性ヒストグラム,シルエットスコア,デイビーズ・ボルディン指数など,複数の基準で検証する。 私たちの期待に反して、アクティブラーニングモデルは、特徴分離と全体的な精度において、ベースラインを著しく上回らなかった。 このことは、非形式的なサンプル選択と、不確実なサンプルに過度に適合する可能性によって、重ね合わせをデコードし、それを減らすためにより洗練されたアプローチの必要性を示唆するアクティブラーニングモデルの能力を妨げている可能性があることを示唆している。

関連論文リスト

• Active learning for efficient annotation in precision agriculture: a use-case on crop-weed semantic segmentation [0.0]
  アクティブラーニングは、大きな未ラベルプールから最も情報性の高い画像の識別と選択を容易にする。 アクティブな学習は、Cityscapesのようなベンチマークデータセットで有望な結果を示しているが、農業領域におけるパフォーマンスは、まだ明らかにされていない。 本研究は,3つの能動的学習に基づく獲得関数の比較研究を行うことにより,この研究ギャップに対処する。
  論文  参考訳（メタデータ） (2024-04-03T08:55:44Z)
• CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
  本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。 本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。 本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-25T03:08:50Z)
• Visual Recognition with Deep Nearest Centroids [57.35144702563746]
  我々は、概念的にエレガントで驚くほど効果的な大規模視覚認識ネットワークである深部セントロイド(DNC)を考案した。 パラメトリックと比較すると、DNCは画像分類(CIFAR-10, ImageNet)に優れ、画像認識(ADE20K, Cityscapes)を大いに起動する。
  論文  参考訳（メタデータ） (2022-09-15T15:47:31Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning [41.07029317930986]
  低ラベル方式で動作するモデルの分散感応クラスを提案する。 最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。 我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
  論文  参考訳（メタデータ） (2022-01-13T18:59:02Z)
• Dynamic Relevance Learning for Few-Shot Object Detection [6.550840743803705]
  動的グラフ畳み込みネットワーク(GCN)を構築するために,すべてのサポート画像とクエリ画像上の関心領域(RoI)の関係を利用した動的関連学習モデルを提案する。 提案モデルでは,より一般化された特徴の学習の有効性を示す総合的な性能が得られた。
  論文  参考訳（メタデータ） (2021-08-04T18:29:42Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• A survey of active learning algorithms for supervised remote sensing image classification [5.384800591054857]
  効率的なトレーニングセットを定義することは、リモートセンシングイメージ分類ルーチンの成功の最も繊細なフェーズの1つです。 アクティブラーニングは、サンプリングを通じてモデルのパフォーマンスを反復的に改善することで、効率的なトレーニングセットの構築を目指しています。 本稿では、アクティブ学習アルゴリズムの主なファミリであるコミッション、大きなマージン、後方確率ベースをレビューおよびテストする。
  論文  参考訳（メタデータ） (2021-04-15T21:36:59Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。