論文の概要: When Deep Classifiers Agree: Analyzing Correlations between Learning Order and Image Statistics

• arxiv url: http://arxiv.org/abs/2105.08997v1
• Date: Wed, 19 May 2021 09:03:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 13:58:12.504315
• Title: When Deep Classifiers Agree: Analyzing Correlations between Learning Order and Image Statistics
• Title（参考訳）: 深層分類器が同意する:学習順序と画像統計の相関分析
• Authors: Iuliia Pliushch, Martin Mundt, Nicolas Lupp, Visvanathan Ramesh
• Abstract要約: 近年の研究では、訓練過程における類似性に関する実証的な証拠が発見されている。 ニューラルネットワークは、類似した表現に収束するだけでなく、データインスタンスが最初に学習される経験的合意の概念も示していると仮定されている。 我々は,このような分類合意の関係を時間とともに定量化し,その一致現象が調査データセットのコア統計にマッピング可能であることを示唆する。
• 参考スコア（独自算出の注目度）: 2.599882743586164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although a plethora of architectural variants for deep classification has been introduced over time, recent works have found empirical evidence towards similarities in their training process. It has been hypothesized that neural networks converge not only to similar representations, but also exhibit a notion of empirical agreement on which data instances are learned first. Following in the latter works$'$ footsteps, we define a metric to quantify the relationship between such classification agreement over time, and posit that the agreement phenomenon can be mapped to core statistics of the investigated dataset. We empirically corroborate this hypothesis across the CIFAR10, Pascal, ImageNet and KTH-TIPS2 datasets. Our findings indicate that agreement seems to be independent of specific architectures, training hyper-parameters or labels, albeit follows an ordering according to image statistics.
• Abstract（参考訳）: 深層分類のための多くの建築的変種が時間をかけて導入されたが、近年の研究では、その訓練過程における類似性に対する実証的な証拠が見つかっている。 ニューラルネットワークが類似した表現に収束するだけでなく、データインスタンスが最初に学習される経験的合意の概念を示すと仮定されている。 後者の著作物$'$の足跡に続いて、このような分類合意の関係を経時的に定量化するためのメトリクスを定義し、調査されたデータセットのコア統計にアグリーメント現象をマッピングできると仮定する。 我々は、CIFAR10、Pascal、ImageNet、KTH-TIPS2データセットでこの仮説を実証的に裏付ける。 以上の結果から,コンセンサスは特定のアーキテクチャやハイパーパラメータ,ラベルに依存しないと考えられるが,画像統計では順序に従う。

関連論文リスト

• On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 本稿では,内部表現の類似性を高めるための協調学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• Multi-Label Classification for Implicit Discourse Relation Recognition [10.280148603465697]
  暗黙的な談話関係認識のための多言語分類フレームワークについて検討する。 本研究では,複数ラベルの分類手法が単一ラベルの予測性能を低下させないことを示す。
  論文  参考訳（メタデータ） (2024-06-06T19:37:25Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity Classification [21.842139093124512]
  本稿では,新しいベクトルベース手法であるSEEDを導入する。 クラス内のクレーム-エビデンス対の平均意味的差異を捉えるクラス代表ベクトルをシミュレートできるという仮説に基づいて構築する。 FEVERとSCIFACTデータセットで実施された実験では、数ショット設定で競合するベースラインよりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2022-05-11T17:23:37Z)
• A Unifying Framework for Some Directed Distances in Statistics [0.0]
  密度に基づく有向距離(特に発散距離)は統計学で広く使われている。 本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。 我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
  論文  参考訳（メタデータ） (2022-03-02T04:24:13Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification [24.386165255835063]
  一般的な分類タスクの状況は、トレーニングに利用可能な大量のデータを持っているが、クラスラベルを持つのはごく一部である。 この文脈で、半監督トレーニングの目標は、大量のラベルのないデータからの情報を利用して分類精度を向上させることです。 本研究では,相互に類似した高信頼度ラベル付きデータ間の研究の少ない関係に焦点をあてた,教師なしの新たな目的を提案する。 提案したSimPLEアルゴリズムは,CIFAR-100およびMini-ImageNetにおける従来のアルゴリズムと比較して有意な性能向上を示した。
  論文  参考訳（メタデータ） (2021-03-30T23:48:06Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。