論文の概要: Neural Architecture Search of Sample Reweighting Networks for Complex Distribution Shift

• arxiv url: http://arxiv.org/abs/2606.22991v1
• Date: Mon, 22 Jun 2026 08:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 02:58:11.805606
• Title: Neural Architecture Search of Sample Reweighting Networks for Complex Distribution Shift
• Title（参考訳）: 複雑分散シフトのためのサンプル再重み付けネットワークのニューラルネットワークによる探索
• Authors: Keisuke Sugawara, Kento Uchida, Shinichi Shirakawa,
• Abstract要約: Meta-Weight-Net (MW-Net) は、分類損失に基づいて重みを算出するサンプル再重み付けネットワークである。 MW-Netは、単純なニューラルネットワークを用いて、単一タイプの分散シフト下での予測性能を改善するが、ラベルノイズとクラス不均衡の両方に直面した場合、その性能は低下する。 このような性能劣化を軽減するために,MW-Netにニューラルアーキテクチャ探索を導入する。
• 参考スコア（独自算出の注目度）: 1.6822770693792826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sample reweighting is a major approach to addressing distribution shifts, such as label noise and class imbalance. Meta-Weight-Net (MW-Net) is a promising sample reweighting network that computes weights based on classification loss. Although MW-Net improves prediction performance under a single type of distribution shift using a simple neural network, its performance degrades when facing both label noise and class imbalance, where it is hard to determine appropriate weights solely from classification loss and using a simple network. In this study, we introduce neural architecture search to MW-Net to mitigate such performance degradation. Using the tree-structured Parzen estimator, we explore the optimal number of hidden layers and nodes and select the most suitable intermediate layer in the classification model to serve as the input for MW-Net. Experimental results on the CIFAR-10 and CIFAR-100 datasets that were modified to include both label noise and class imbalance demonstrate the effectiveness of neural architecture search for MW-Net.
• Abstract（参考訳）: サンプル再重み付けは、ラベルノイズやクラス不均衡といった分散シフトに対処する主要なアプローチである。 Meta-Weight-Net (MW-Net) は、分類損失に基づいて重みを算出する有望なサンプル再重み付けネットワークである。 MW-Netは、単純なニューラルネットワークを用いて、単一タイプの分散シフト下での予測性能を改善するが、ラベルノイズとクラス不均衡の両方に直面した場合、その性能は低下する。 本研究では,その性能劣化を軽減するために,MW-Netにニューラルアーキテクチャ探索を導入する。 木構造を有するParzen推定器を用いて,隠蔽層とノードの最適数を探索し,分類モデルにおいて最も適した中間層を選択し,MW-Netの入力として機能する。 CIFAR-10とCIFAR-100データセットの実験結果は、ラベルノイズとクラス不均衡の両方を含むように修正され、MW-Netのニューラルネットワーク探索の有効性が実証された。

関連論文リスト

• Meta-GCN: A Dynamically Weighted Loss Minimization Method for Dealing with the Data Imbalance in Graph Neural Networks [5.285761906707429]
  そこで我々は,メタGCNというメタ学習アルゴリズムを提案し,サンプル重み付けを適応的に学習する。 我々は,Meta-GCNが最先端フレームワークや他のベースラインを精度で上回ることを示した。
  論文  参考訳（メタデータ） (2024-06-24T18:59:24Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Imbalanced Nodes Classification for Graph Neural Networks Based on Valuable Sample Mining [9.156427521259195]
  不均衡問題に対する従来のアルゴリズムレベルのアプローチに基づいて、新たな損失関数FD-Lossを再構成する。 我々の損失関数は、ノード分類タスクの既存の手法と比較して、サンプルノードの不均衡を効果的に解決し、分類精度を4%向上させることができる。
  論文  参考訳（メタデータ） (2022-09-18T09:22:32Z)
• WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
  本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。 我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2022-08-11T07:13:59Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。