論文の概要: From Charts to Atlas: Merging Latent Spaces into One
- arxiv url: http://arxiv.org/abs/2311.06547v1
- Date: Sat, 11 Nov 2023 11:51:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 18:09:55.145264
- Title: From Charts to Atlas: Merging Latent Spaces into One
- Title(参考訳): チャートからatlasへ:潜在空間を1つにマージする
- Authors: Donato Crisostomi, Irene Cannistraci, Luca Moschella, Pietro Barbiero,
Marco Ciccone, Pietro Li\`o, Emanuele Rodol\`a
- Abstract要約: 意味的に関連するデータセットとタスクに基づいてトレーニングされたモデルは、潜在空間内でのサンプル間関係に匹敵する。
相対的空間アグリゲーション(Relative Latent Space Aggregation)という2段階のアプローチを導入し、まず相対表現を用いて空間を同等にレンダリングし、簡単な平均でそれらを集約する。
集約された空間と、すべてのタスクで訓練されたエンドツーエンドモデルから導出された空間を比較し、この2つの空間が類似していることを示す。
- 参考スコア(独自算出の注目度): 15.47502439734611
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models trained on semantically related datasets and tasks exhibit comparable
inter-sample relations within their latent spaces. We investigate in this study
the aggregation of such latent spaces to create a unified space encompassing
the combined information. To this end, we introduce Relative Latent Space
Aggregation, a two-step approach that first renders the spaces comparable using
relative representations, and then aggregates them via a simple mean. We
carefully divide a classification problem into a series of learning tasks under
three different settings: sharing samples, classes, or neither. We then train a
model on each task and aggregate the resulting latent spaces. We compare the
aggregated space with that derived from an end-to-end model trained over all
tasks and show that the two spaces are similar. We then observe that the
aggregated space is better suited for classification, and empirically
demonstrate that it is due to the unique imprints left by task-specific
embedders within the representations. We finally test our framework in
scenarios where no shared region exists and show that it can still be used to
merge the spaces, albeit with diminished benefits over naive merging.
- Abstract(参考訳): 意味的に関連したデータセットとタスクでトレーニングされたモデルは、潜在空間内で同等のサンプル間関係を示す。
本研究では,そのような潜在空間を集約し,それらの情報を包含する統一空間を作成する。
この目的のために、相対的な表現を用いて空間を描画し、簡単な平均でそれらを集約する2段階のアプローチであるRelative Latent Space Aggregationを導入する。
分類問題を3つの異なる設定(サンプル、クラス、あるいは両方)で一連の学習タスクに慎重に分割します。
次に各タスクでモデルをトレーニングし、結果の潜在空間を集約します。
集約された空間を、すべてのタスクで訓練されたエンドツーエンドモデルから派生した空間と比較し、2つの空間が類似していることを示す。
次に、集約された空間が分類に適していることを観察し、その表現の中にタスク固有の埋め込み器が残したユニークなインプリントが原因であることを実証的に示す。
最終的に、共有領域が存在しないシナリオでフレームワークをテストし、ナイーブマージよりもメリットが少なくても、スペースのマージに引き続き使用できることを示します。
関連論文リスト
- Learning from Semi-Factuals: A Debiased and Semantic-Aware Framework for
Generalized Relation Discovery [12.716874398564482]
Generalized Relation Discovery (GRD) は、既存の事前定義された関係にある未ラベルのインスタンスを特定したり、新しい関係を発見することを目的としている。
本稿では,2段階の半実物から学習することで,この課題に対する新しいフレームワーク,SFGRDを提案する。
SFGRDの精度は2.36%$sim$5.78%、コサイン類似度は32.19%$sim$84.45%である。
論文 参考訳(メタデータ) (2024-01-12T02:38:55Z) - Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳(メタデータ) (2023-12-11T07:24:54Z) - Merging by Matching Models in Task Subspaces [98.75848162153773]
モデルマージが方程式の線形系を解くとみなす方法が定式化される。
共役勾配法は閉形式解より優れていることを示す。
我々のフレームワークはマルチタスクモデルと中間タスクモデルの統合において最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-12-07T14:59:15Z) - Anchor-based Multi-view Subspace Clustering with Hierarchical Feature
Descent [50.283640069991]
マルチビュークラスタリングは、様々なソースから情報を集約する能力によって、注目を集めている。
階層的特徴Descentを用いたアンカーベースマルチビューサブスペースクラスタリングを提案する。
提案手法は最先端技術より一貫して優れている。
論文 参考訳(メタデータ) (2023-10-11T03:29:13Z) - Multi-view hierarchical Variational AutoEncoders with Factor Analysis
latent space [67.60224656603823]
本稿では,複数変分オートエンコーダと因子解析潜時空間を組み合わせた新しい手法を提案する。
プライベート情報と共有情報の間に、解釈可能な階層的依存関係を作成します。
この方法で、新しいモデルは同時に得ることができる: (i) 複数の異種ビューから学習し、 (ii)解釈可能な階層的共有空間を取得し、 (iii)生成モデル間で伝達学習を行う。
論文 参考訳(メタデータ) (2022-07-19T10:46:02Z) - Embracing Structure in Data for Billion-Scale Semantic Product Search [14.962039276966319]
我々は、数十億の規模でダイアドニューラル埋め込みモデルを訓練し、展開するための原則的アプローチを提案する。
実世界のデータセットの自然な構造を活用することで、両方の課題に効率的に対処できることが示される。
論文 参考訳(メタデータ) (2021-10-12T16:14:13Z) - UniRE: A Unified Label Space for Entity Relation Extraction [67.53850477281058]
合同エンティティ関係抽出モデルでは、2つのサブタスクに対して2つの分離ラベル空間を設定する。
この設定は、エンティティとリレーション間の情報相互作用を妨げる可能性があると我々は主張する。
本研究では,2つのサブタスクのラベル空間における異なる処理を除去することを提案する。
論文 参考訳(メタデータ) (2021-07-09T08:09:37Z) - Cycle Registration in Persistent Homology with Applications in
Topological Bootstrap [0.0]
2つの空間の持続的ホモロジー表現(フィルタ)を比較するための新しいアプローチを提案する。
2つの異なる空間の個々の持続サイクル間の対応関係を定義する。
サイクルのマッチングは、永続化間隔と各特徴の空間配置の両方に基づいています。
論文 参考訳(メタデータ) (2021-01-03T20:12:00Z) - A Boundary Based Out-of-Distribution Classifier for Generalized
Zero-Shot Learning [83.1490247844899]
Generalized Zero-Shot Learning (GZSL)は多くの現実的なシナリオにおいて有望な見通しを持つ挑戦的なトピックである。
本研究では,見知らぬ領域を学習用サンプルのみを用いて分類する境界に基づくアウト・オブ・ディストリビューション(OOD)分類器を提案する。
我々は、AWA1、AWA2、CUB、FLO、SUNを含む5つの人気のあるベンチマークデータセットに対して、我々のアプローチを広範囲に検証する。
論文 参考訳(メタデータ) (2020-08-09T11:27:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。