論文の概要: SuperCone: Modeling Heterogeneous Experts with Concept Meta-learning for
Unified Predictive Segments System
- arxiv url: http://arxiv.org/abs/2203.07029v1
- Date: Wed, 9 Mar 2022 04:11:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-20 22:49:25.116404
- Title: SuperCone: Modeling Heterogeneous Experts with Concept Meta-learning for
Unified Predictive Segments System
- Title（参考訳）: SuperCone: 統一予測セグメントシステムのための概念メタラーニングによる異種エキスパートのモデリング
- Authors: Keqian Li, Yifan Hu
- Abstract要約: 統合述語セグメントシステムであるSuperConeについて述べる。
これは、各ユーザの異質なデジタルフットプリントを要約するフラットな概念表現の上に構築される。
様々な述語セグメントタスクにおいて、最先端のレコメンデーションとランキングアルゴリズムを上回ります。
- 参考スコア（独自算出の注目度）: 8.917697023052257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding users through predicative segments play an essential role for
modern enterprises for more efficient and efficient information exchange. For
example, by predicting whether a user has particular interest in a particular
area of sports or entertainment, we can better serve the user with more
relevant and tailored content. However, there exists a large number of long
tail prediction tasks that are hard to capture by off the shelf model
architectures due to data scarcity and task heterogeneity. In this work, we
present SuperCone, our unified predicative segments system that addresses the
above challenges. It builds on top of a flat concept representation that
summarizes each user's heterogeneous digital footprints, and uniformly models
each of the prediction task using an approach called "super learning ", that
is, combining prediction models with diverse architectures or learning method
that are not compatible with each other or even completely unknown. Following
this, we provide end to end deep learning architecture design that flexibly
learns to attend to best suited heterogeneous experts while at the same time
learns deep representations of the input concepts that augments the above
experts by capturing unique signal. Experiments show that SuperCone can
outperform state-of-the-art recommendation and ranking algorithms on a wide
range of predicative segment tasks, as well as several public structured data
learning benchmarks.
- Abstract（参考訳）: 予測セグメントによるユーザ理解は、より効率的かつ効率的な情報交換において、現代企業にとって重要な役割を担っている。
例えば、ユーザーが特定のスポーツやエンターテイメントの分野に特定の関心を持っているかどうかを予測することで、より関連性の高いコンテンツを提供することができる。
しかし、データ不足とタスクの不均一性のため、棚モデルのアーキテクチャをオフにして捉えるのが難しい、多くのロングテール予測タスクが存在する。
本稿では、上記の課題に対処する統合述語セグメントシステムであるSuperConeについて述べる。
それは、各ユーザの不均一なデジタルフットプリントを要約したフラットな概念表現の上に構築され、予測タスクのそれぞれを、"スーパーラーニング"(super learning)と呼ばれるアプローチを使って一様にモデル化する。
これに続いて,最善のヘテロジニアスな専門家の参加を柔軟に学習すると同時に,上記の入力概念の深い表現を学習し,一意なシグナルを捉えて専門家を増強する,エンドツーエンドのディープラーニングアーキテクチャ設計を提供する。
実験の結果、SuperConeは様々な述語セグメントタスクやいくつかの公開構造化データ学習ベンチマークにおいて、最先端のレコメンデーションとランキングアルゴリズムより優れていることが示された。
関連論文リスト
- AMEND: A Mixture of Experts Framework for Long-tailed Trajectory Prediction [6.724750970258851]
軌道予測のためのモジュラーモデル非依存フレームワークを提案する。
各専門家は、データの特定の部分に関して、特別なスキルで訓練される。
予測のために,相対的信頼スコアを生成することで,最高の専門家を選択するルータネットワークを利用する。
論文 参考訳（メタデータ） (2024-02-13T02:43:41Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - FedBone: Towards Large-Scale Federated Multi-Task Learning [13.835972363413884]
現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。
既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。
我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
論文 参考訳（メタデータ） (2023-06-30T08:19:38Z) - Personalized Federated Learning with Feature Alignment and Classifier
Collaboration [13.320381377599245]
データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。
ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。
本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
論文 参考訳（メタデータ） (2023-06-20T19:58:58Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Diversified Dynamic Routing for Vision Tasks [36.199659460868496]
本稿では,各レイヤが専門家の集合で構成された新しいアーキテクチャを提案する。
本手法では,データのパーティショニングに関する課題を解決するために,モデルを明示的に訓練する。
都市景観のセマンティックセグメンテーションとMS-COCOのオブジェクト検出とインスタンスセグメンテーションについていくつかの実験を行った。
論文 参考訳（メタデータ） (2022-09-26T23:27:51Z) - A Review of Sparse Expert Models in Deep Learning [23.721204843236006]
スパースエキスパートモデル(Sparse expert model)は、ディープラーニングの一般的なアーキテクチャとして再開発される30年前のコンセプトだ。
本稿では,スパースエキスパートモデルの概念を概観し,共通アルゴリズムの基本的記述を提供し,深層学習時代の進歩を文脈化する。
論文 参考訳（メタデータ） (2022-09-04T18:00:29Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳（メタデータ） (2022-05-30T17:50:59Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。