論文の概要: Bayesian learning of feature spaces for multitasks problems
- arxiv url: http://arxiv.org/abs/2209.03028v2
- Date: Fri, 3 Nov 2023 10:13:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 18:44:42.593059
- Title: Bayesian learning of feature spaces for multitasks problems
- Title（参考訳）: マルチタスク問題のための特徴空間のベイズ学習
- Authors: Carlos Sevilla-Salcedo, Ascensi\'on Gallardo-Antol\'in, Vanessa
G\'omez-Verdejo, Emilio Parrado-Hern\'andez
- Abstract要約: 本稿では,Kernel Machines (KMs) とExtreme Learning Machines (ELMs) を接続するマルチタスク回帰手法を提案する。
提案されたモデルは RFF-BLR と呼ばれ、2つの主要な設計目標に同時に対処するベイジアンフレームワークに基づいている。
実験結果から, このフレームワークは非線形回帰における最先端手法と比較して, 大幅な性能向上をもたらす可能性が示唆された。
- 参考スコア（独自算出の注目度）: 0.11538034264098687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a novel approach for multi-task regression that
connects Kernel Machines (KMs) and Extreme Learning Machines (ELMs) through the
exploitation of the Random Fourier Features (RFFs) approximation of the RBF
kernel. In this sense, one of the contributions of this paper shows that for
the proposed models, the KM and the ELM formulations can be regarded as two
sides of the same coin. These proposed models, termed RFF-BLR, stand on a
Bayesian framework that simultaneously addresses two main design goals. On the
one hand, it fits multitask regressors based on KMs endowed with RBF kernels.
On the other hand, it enables the introduction of a common-across-tasks prior
that promotes multioutput sparsity in the ELM view. This Bayesian approach
facilitates the simultaneous consideration of both the KM and ELM perspectives
enabling (i) the optimisation of the RBF kernel parameter $\gamma$ within a
probabilistic framework, (ii) the optimisation of the model complexity, and
(iii) an efficient transfer of knowledge across tasks. The experimental results
show that this framework can lead to significant performance improvements
compared to the state-of-the-art methods in multitask nonlinear regression.
- Abstract（参考訳）: 本稿では,Kernel Machines(KMs)とExtreme Learning Machines(ELMs)をRBFカーネルのRandom Fourier Features(RFFs)近似を利用して接続するマルチタスク回帰手法を提案する。
この意味で、本論文の貢献の一つは、提案されたモデルにおいて、km と elm の定式化は、同じ硬貨の2つの側面と見なすことができることを示している。
提案されたモデルは RFF-BLR と呼ばれ、2つの主要な設計目標に同時に対処するベイジアンフレームワークの上に立つ。
一方、RBFカーネルを組み込んだKMをベースとしたマルチタスク回帰器に適合する。
一方、EMMビューでマルチアウトプットの間隔を促進する共通タスクを事前に導入することが可能である。
このベイズ的アプローチは、KMとEMMの両方の視点を同時に考慮するのに役立つ
(i)確率的枠組みにおけるrbfカーネルパラメータ$\gamma$の最適化
(ii)モデルの複雑さの最適化、
(iii)タスク間での知識の効率的な伝達。
実験の結果,マルチタスク非線形回帰における最先端手法と比較して,このフレームワークの性能が大幅に向上する可能性が示唆された。
関連論文リスト
- Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。
MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。
Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
論文 参考訳（メタデータ） (2024-04-13T12:14:58Z) - Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。
我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。
適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
論文 参考訳（メタデータ） (2023-12-20T15:50:16Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - Efficient Alternating Minimization Solvers for Wyner Multi-View
Unsupervised Learning [0.0]
本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。
提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
論文 参考訳（メタデータ） (2023-03-28T10:17:51Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2021-12-13T08:58:03Z) - Multi-Task Learning on Networks [0.0]
マルチタスク学習コンテキストで発生する多目的最適化問題は、特定の特徴を持ち、アドホックな方法を必要とする。
この論文では、入力空間の解は、関数評価に含まれる知識をカプセル化した確率分布として表現される。
確率分布のこの空間では、ワッサーシュタイン距離によって与えられる計量が与えられ、モデルが目的関数に直接依存しないような新しいアルゴリズムMOEA/WSTを設計することができる。
論文 参考訳（メタデータ） (2021-12-07T09:13:10Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z) - Type-2 fuzzy reliability redundancy allocation problem and its solution
using particle swarm optimization algorithm [9.760638545828497]
ファジィ多目的信頼性冗長配置問題 (FMORRAP) を提案する。
FMORRAPはシステムの信頼性を最大化し、同時にシステムコストを最小化する。
論文 参考訳（メタデータ） (2020-05-02T15:39:54Z) - dMFEA-II: An Adaptive Multifactorial Evolutionary Algorithm for
Permutation-based Discrete Optimization Problems [6.943742860591444]
本稿では、最近導入されたMFEA-II(Multifactorial Evolutionary Algorithm II)を、置換に基づく離散環境に適用する。
提案手法の性能を5種類のマルチタスク設定で評価した。
論文 参考訳（メタデータ） (2020-04-14T14:42:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。