論文の概要: Automatic Cross-Domain Transfer Learning for Linear Regression

• arxiv url: http://arxiv.org/abs/2005.04088v1
• Date: Fri, 8 May 2020 15:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 11:59:33.275684
• Title: Automatic Cross-Domain Transfer Learning for Linear Regression
• Title（参考訳）: 線形回帰のためのクロスドメイン転送自動学習
• Authors: Liu Xinshun, He Xin, Mao Hui, Liu Jing, Lai Weizhong, Ye Qingwen
• Abstract要約: 本稿では,線形回帰問題に対する伝達学習能力の拡張を支援する。 通常のデータセットでは、移行学習に潜伏したドメイン情報が利用できると仮定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning research attempts to make model induction transferable across different domains. This method assumes that specific information regarding to which domain each instance belongs is known. This paper helps to extend the capability of transfer learning for linear regression problems to situations where the domain information is uncertain or unknown; in fact, the framework can be extended to classification problems. For normal datasets, we assume that some latent domain information is available for transfer learning. The instances in each domain can be inferred by different parameters. We obtain this domain information from the distribution of the regression coefficients corresponding to the explanatory variable $x$ as well as the response variable $y$ based on a Dirichlet process, which is more reasonable. As a result, we transfer not only variable $x$ as usual but also variable $y$, which is challenging since the testing data have no response value. Previous work mainly overcomes the problem via pseudo-labelling based on transductive learning, which introduces serious bias. We provide a novel framework for analysing the problem and considering this general situation: the joint distribution of variable $x$ and variable $y$. Furthermore, our method controls the bias well compared with previous work. We perform linear regression on the new feature space that consists of different latent domains and the target domain, which is from the testing data. The experimental results show that the proposed model performs well on real datasets.
• Abstract（参考訳）: トランスファーラーニング研究は、異なるドメイン間でモデル誘導を転送できるようにする。 この方法は、各インスタンスが属するドメインに関する特定の情報が知られていると仮定する。 本稿では,線形回帰問題に対する転送学習の能力を,ドメイン情報が不確かあるいは不明な状況にまで拡張することを支援する。 通常のデータセットでは、移行学習のために潜在ドメイン情報が利用できると仮定する。 各ドメインのインスタンスは、異なるパラメータによって推測できる。 このドメイン情報は、説明変数 $x$ に対応する回帰係数の分布と、ディリクレプロセスに基づく応答変数 $y$ から得られる。 その結果、通常通り変数$x$を転送するだけでなく、変数$y$を転送します。 先行研究は主に、重大バイアスをもたらす帰納的学習に基づく擬似ラベリングを通じてこの問題を克服している。 問題を分析するための新しいフレームワークを提供し、この一般的な状況を考慮している:変数 $x$ と変数 $y$ のジョイント分布。 さらに,本手法は従来の手法と比較してバイアスをよく制御する。 我々は、異なる潜在ドメインとテストデータである対象ドメインからなる新しい特徴空間に対して線形回帰を行う。 実験結果から,提案モデルが実際のデータセットで良好に動作することを示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Transforming to Yoked Neural Networks to Improve ANN Structure [0.0]
  ほとんどの既存の人工ニューラルネットワーク(ANN)は、ニューラルネットワークを模倣するツリー構造として設計されている。 このような構造バイアスを効率的に除去するモデルYNNを提案する。 我々のモデルでは、ノードは特徴の集約と変換を行い、エッジは情報の流れを決定する。
  論文  参考訳（メタデータ） (2023-06-03T16:56:18Z)
• Biologically inspired structure learning with reverse knowledge distillation for spiking neural networks [19.33517163587031]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性から感覚情報認識タスクにおいて非常に優れた特徴を持つ。 現在のスパイクベースのモデルの性能は、完全に接続された構造か深すぎる構造かによって制限されている。 本稿では,より合理的なSNNを構築するための進化的構造構築法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T08:41:17Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
  我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。 この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。 本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-11-17T03:37:06Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。