論文の概要: Distribution-Based Invariant Deep Networks for Learning Meta-Features

• arxiv url: http://arxiv.org/abs/2006.13708v2
• Date: Sun, 18 Oct 2020 16:52:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:22:50.551740
• Title: Distribution-Based Invariant Deep Networks for Learning Meta-Features
• Title（参考訳）: 分布型不変深層ネットワークによるメタ機能学習
• Authors: Gwendoline De Bie, Herilalaina Rakotoarison, Gabriel Peyr\'e, Mich\`ele Sebag
• Abstract要約: 確率分布からの深層学習の最近の進歩は、分布サンプルの分類や回帰をうまく達成し、したがってサンプルの置換の下では不変である。 提案したアーキテクチャはDidaと呼ばれ、普遍近似のNN特性を継承し、そのロバスト性w.r.t. Lipschitz-bounded transformations of the input distributionが確立される。 この論文は、データセットレベルで定義された2つのタスクに対するアプローチのメリットを実証的かつ相対的に実証している。
• 参考スコア（独自算出の注目度）: 2.179313476241343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning from probability distributions successfully achieve classification or regression from distribution samples, thus invariant under permutation of the samples. The first contribution of the paper is to extend these neural architectures to achieve invariance under permutation of the features, too. The proposed architecture, called Dida, inherits the NN properties of universal approximation, and its robustness w.r.t. Lipschitz-bounded transformations of the input distribution is established. The second contribution is to empirically and comparatively demonstrate the merits of the approach on two tasks defined at the dataset level. On both tasks, Dida learns meta-features supporting the characterization of a (labelled) dataset. The first task consists of predicting whether two dataset patches are extracted from the same initial dataset. The second task consists of predicting whether the learning performance achieved by a hyper-parameter configuration under a fixed algorithm (ranging in k-NN, SVM, logistic regression and linear classifier with SGD) dominates that of another configuration, for a dataset extracted from the OpenML benchmarking suite. On both tasks, Dida outperforms the state of the art: DSS (Maron et al., 2020) and Dataset2Vec (Jomaa et al., 2019) architectures, as well as the models based on the hand-crafted meta-features of the literature.
• Abstract（参考訳）: 確率分布からのディープラーニングの最近の進歩は、分布サンプルからの分類や回帰をうまく達成し、標本の置換下で不変である。 論文の最初の貢献は、これらのニューラルアーキテクチャを拡張して、特徴の置換の下で不変性を達成することである。 提案したアーキテクチャはDidaと呼ばれ、普遍近似のNN特性を継承し、そのロバスト性w.r.t. Lipschitz-bounded transformations of the input distributionが確立される。 2つめの貢献は、データセットレベルで定義された2つのタスクに対するアプローチのメリットを実証的に、比較して実証することである。 両方のタスクで、Didaは(ラベル付き)データセットのキャラクタリゼーションをサポートするメタ機能を学ぶ。 最初のタスクは、2つのデータセットパッチが同じ初期データセットから抽出されるかどうかを予測することである。 第2のタスクは、OpenMLベンチマークスイートから抽出されたデータセットに対して、固定アルゴリズム(k-NN、SVM、ロジスティック回帰およびSGDによる線形分類器)の下でのハイパーパラメータ設定によって達成される学習性能が、他の構成よりも優れているかどうかを予測することである。 dss (maron et al., 2020) と dataset2vec (jomaa et al., 2019) のアーキテクチャに加えて,手作りのメタ機能に基づいたモデルも採用している。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection [0.0]
  データセットのクラスオーバーラップ問題に対処する2つの新しいアルゴリズムが提案されている。 提案手法は二進分類と多進分類の両方で評価される。
  論文  参考訳（メタデータ） (2022-05-08T21:06:42Z)
• Merging Two Cultures: Deep and Statistical Learning [3.15863303008255]
  深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。 モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-22T02:57:21Z)
• An Optimization-Based Meta-Learning Model for MRI Reconstruction with Diverse Dataset [4.9259403018534496]
  メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。 提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。 メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
  論文  参考訳（メタデータ） (2021-10-02T03:21:52Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。