論文の概要: Bayesian learning of feature spaces for multitasks problems

• arxiv url: http://arxiv.org/abs/2209.03028v1
• Date: Wed, 7 Sep 2022 09:53:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:08:14.391924
• Title: Bayesian learning of feature spaces for multitasks problems
• Title（参考訳）: マルチタスク問題のための特徴空間のベイズ学習
• Authors: Carlos Sevilla-Salcedo, Ascensi\'on Gallardo-Antol\'in, Vanessa G\'omez-Verdejo, Emilio Parrado-Hern\'andez
• Abstract要約: 本稿では,マルチタスク回帰のための非線形,擬似,浅いモデルを構築するためのベイズ的枠組みを提案する。 提案するフレームワークは,Random Fourier Features (RFF) が,極端な学習マシンによるRBFカーネルの近似を可能にすることを前提としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a Bayesian framework to construct non-linear, parsimonious, shallow models for multitask regression. The proposed framework relies on the fact that Random Fourier Features (RFFs) enables the approximation of an RBF kernel by an extreme learning machine whose hidden layer is formed by RFFs. The main idea is to combine both dual views of a same model under a single Bayesian formulation that extends the Sparse Bayesian Extreme Learning Machines to multitask problems. From the kernel methods point of view, the proposed formulation facilitates the introduction of prior domain knowledge through the RBF kernel parameter. From the extreme learning machines perspective, the new formulation helps control overfitting and enables a parsimonious overall model (the models that serve each task share a same set of RFFs selected within the joint Bayesian optimisation). The experimental results show that combining advantages from kernel methods and extreme learning machines within the same framework can lead to significant improvements in the performance achieved by each of these two paradigms independently.
• Abstract（参考訳）: 本稿では,マルチタスク回帰のための非線形,擬似,浅いモデルを構築するためのベイズ的枠組みを提案する。 提案するフレームワークは,Random Fourier Features (RFFs) がRBFカーネルを,秘密層をRFFで形成した極端学習マシンで近似できるという事実に依拠している。 主なアイデアは、スパースベイズ型エクストリーム学習マシンをマルチタスク問題に拡張する単一のベイズ式の下で、同じモデルの2重ビューを組み合わせることである。 カーネル法の観点から、提案する定式化は、RBFカーネルパラメータによる事前ドメイン知識の導入を促進する。 極端な学習機械の観点からすると、新しい定式化はオーバーフィッティングを制御し、同種の全体モデルを可能にする(各タスクに仕えるモデルは、共同ベイズ最適化で選択された同一のRFFを共有する)。 実験の結果,同一フレームワーク内でカーネルメソッドとエクストリームラーニングマシンの利点を組み合わせると,これら2つのパラダイムのそれぞれが独立して達成したパフォーマンスが大幅に向上する可能性が示された。

関連論文リスト

• Multi-View Oriented GPLVM: Expressiveness and Efficiency [8.459922325396155]
  スペクトル密度とカーネル関数の新たな双対性を導入する。 MV-GPLVMに対して、NG-SM(Next-Gen Spectral Mixture)と呼ばれる汎用的で表現力のあるカーネルを導出する。 提案手法は,有意な潜在表現を学習する際の最先端モデルよりも一貫して優れる。
  論文  参考訳（メタデータ） (2025-02-12T09:49:25Z)
• One Class Restricted Kernel Machines [0.0]
  制限されたカーネルマシン(RKM)は、機械学習の分野における一般化能力の向上に大きな影響を与えている。 RKMsの有効性は、データセット内の外れ値やその他の汚染形態の存在によって損なわれる可能性がある。 この重要な問題とモデルの堅牢性に対処するため、我々は新しい一級RKM(OCRKM)を提案する。 OCRKM の枠組みでは、可視変数と隠れ変数の両方を非確率的に統合する RBM と同様のエネルギー関数を用いる。
  論文  参考訳（メタデータ） (2025-02-11T07:11:20Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
  本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。 提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
  論文  参考訳（メタデータ） (2023-03-28T10:17:51Z)
• Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
  我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。 モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。 提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-12-13T08:58:03Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• dMFEA-II: An Adaptive Multifactorial Evolutionary Algorithm for Permutation-based Discrete Optimization Problems [6.943742860591444]
  本稿では、最近導入されたMFEA-II(Multifactorial Evolutionary Algorithm II)を、置換に基づく離散環境に適用する。 提案手法の性能を5種類のマルチタスク設定で評価した。
  論文  参考訳（メタデータ） (2020-04-14T14:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。