論文の概要: On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes

• arxiv url: http://arxiv.org/abs/2004.02382v1
• Date: Mon, 6 Apr 2020 02:47:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 05:44:54.994263
• Title: On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes
• Title（参考訳）: 多出力ガウス過程における負転移と潜在関数の構造について
• Authors: Moyan Li, Raed Kontar
• Abstract要約: 本稿では、まず$mathcalMGP$の文脈で負転移を定義し、その後、$mathcalMGP$モデルに必要な条件を導出し、負転移を避ける。 負転移を避けることは、おもに十分な数の潜在関数を持つことに依存していることを示す。 任意に大きなデータセットにスケールし、負の転送を回避し、カーネルやスパース近似を内部で使用できる2つの潜在構造を提案する。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The multi-output Gaussian process ($\mathcal{MGP}$) is based on the assumption that outputs share commonalities, however, if this assumption does not hold negative transfer will lead to decreased performance relative to learning outputs independently or in subsets. In this article, we first define negative transfer in the context of an $\mathcal{MGP}$ and then derive necessary conditions for an $\mathcal{MGP}$ model to avoid negative transfer. Specifically, under the convolution construction, we show that avoiding negative transfer is mainly dependent on having a sufficient number of latent functions $Q$ regardless of the flexibility of the kernel or inference procedure used. However, a slight increase in $Q$ leads to a large increase in the number of parameters to be estimated. To this end, we propose two latent structures that scale to arbitrarily large datasets, can avoid negative transfer and allow any kernel or sparse approximations to be used within. These structures also allow regularization which can provide consistent and automatic selection of related outputs.
• Abstract（参考訳）: マルチアウトプットガウス過程($\mathcal{MGP}$)は、出力が共通点を共有するという仮定に基づいているが、この仮定が負の遷移を保たなければ、学習出力に対して独立あるいは部分集合での性能が低下する。 本稿では、まず$\mathcal{MGP}$の文脈で負転移を定義し、その後、負転移を避けるために$\mathcal{MGP}$モデルに必要な条件を導出する。 特に, 畳み込み構成では, 負の移動を避けることは, カーネルの柔軟性や推論手順によらず, 十分な数の潜在関数が$Q$であることに大きく依存することを示す。 しかし、$Q$がわずかに増加すると、推定されるパラメータの数が大幅に増加する。 この目的のために、任意に大きなデータセットにスケールし、負の転送を回避し、カーネルやスパース近似を内部で使用できる2つの潜在構造を提案する。 これらの構造は正規化を可能にし、関連する出力の一貫性と自動選択を提供する。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models [57.933500846742234]
  最近の研究は、構造化された外れ値が量子化性能の重要なボトルネックであることを認識している。 本稿では,Gamma Migration と Token-Wise Clipping の2つのコンポーネントを含む外部抑制フレームワークを提案する。 このフレームワークは、アウトレイラを効果的に抑制し、プラグアンドプレイモードで使用することができる。
  論文  参考訳（メタデータ） (2022-09-27T12:05:59Z)
• Learning a Single Neuron for Non-monotonic Activation Functions [3.890410443467757]
  非単調活性化関数は、多くの応用において伝統的な単調関数よりも優れる。 サンプル時間における学習性を保証するのに$sigma$の穏やかな条件が十分であることを示す。 また,2層ニューラルネットワークのトレーニングにおいて,既存の負の結果に肯定的な結果がどう関係しているかについても論じる。
  論文  参考訳（メタデータ） (2022-02-16T13:44:25Z)
• Deterministic transformations between unitary operations: Exponential advantage with adaptive quantum circuits and the power of indefinite causality [0.0]
  f$ が反ホモモルフィズムであるとき、シーケンシャル回路は指数関数的に並列回路より優れていることを示す。 単元変換タスク $f(U)=U-1$ および単元変換タスク $f(U)=UT$ に対して、そのような利点を得るための明確な構成を示す。
  論文  参考訳（メタデータ） (2021-09-16T20:10:05Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
  従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。 調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
  論文  参考訳（メタデータ） (2020-07-02T15:42:15Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)
• Scalable Variational Gaussian Process Regression Networks [19.699020509495437]
  GPRNのためのスケーラブルな変分推論アルゴリズムを提案する。 出力空間をテンソル化し、テンソル/マトリクス正規変分後部を導入し、後部相関を捉える。 実世界のいくつかの応用において,本手法の利点を実証する。
  論文  参考訳（メタデータ） (2020-03-25T16:39:47Z)
• New Bounds For Distributed Mean Estimation and Variance Reduction [25.815612182815702]
  本稿では,ローカルな$d$-dimensional vector $x_v を mathbbRd$ で与えられた$n$マシンが分散平均推定(DME)問題を考える。 提案手法は, 従来の手法と比較して, 応用の実践的改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-21T13:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。