論文の概要: From Charts to Atlas: Merging Latent Spaces into One

• arxiv url: http://arxiv.org/abs/2311.06547v1
• Date: Sat, 11 Nov 2023 11:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 18:09:55.145264
• Title: From Charts to Atlas: Merging Latent Spaces into One
• Title（参考訳）: チャートからatlasへ:潜在空間を1つにマージする
• Authors: Donato Crisostomi, Irene Cannistraci, Luca Moschella, Pietro Barbiero, Marco Ciccone, Pietro Li\`o, Emanuele Rodol\`a
• Abstract要約: 意味的に関連するデータセットとタスクに基づいてトレーニングされたモデルは、潜在空間内でのサンプル間関係に匹敵する。 相対的空間アグリゲーション(Relative Latent Space Aggregation)という2段階のアプローチを導入し、まず相対表現を用いて空間を同等にレンダリングし、簡単な平均でそれらを集約する。 集約された空間と、すべてのタスクで訓練されたエンドツーエンドモデルから導出された空間を比較し、この2つの空間が類似していることを示す。
• 参考スコア（独自算出の注目度）: 15.47502439734611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models trained on semantically related datasets and tasks exhibit comparable inter-sample relations within their latent spaces. We investigate in this study the aggregation of such latent spaces to create a unified space encompassing the combined information. To this end, we introduce Relative Latent Space Aggregation, a two-step approach that first renders the spaces comparable using relative representations, and then aggregates them via a simple mean. We carefully divide a classification problem into a series of learning tasks under three different settings: sharing samples, classes, or neither. We then train a model on each task and aggregate the resulting latent spaces. We compare the aggregated space with that derived from an end-to-end model trained over all tasks and show that the two spaces are similar. We then observe that the aggregated space is better suited for classification, and empirically demonstrate that it is due to the unique imprints left by task-specific embedders within the representations. We finally test our framework in scenarios where no shared region exists and show that it can still be used to merge the spaces, albeit with diminished benefits over naive merging.
• Abstract（参考訳）: 意味的に関連したデータセットとタスクでトレーニングされたモデルは、潜在空間内で同等のサンプル間関係を示す。 本研究では,そのような潜在空間を集約し,それらの情報を包含する統一空間を作成する。 この目的のために、相対的な表現を用いて空間を描画し、簡単な平均でそれらを集約する2段階のアプローチであるRelative Latent Space Aggregationを導入する。 分類問題を3つの異なる設定(サンプル、クラス、あるいは両方)で一連の学習タスクに慎重に分割します。 次に各タスクでモデルをトレーニングし、結果の潜在空間を集約します。 集約された空間を、すべてのタスクで訓練されたエンドツーエンドモデルから派生した空間と比較し、2つの空間が類似していることを示す。 次に、集約された空間が分類に適していることを観察し、その表現の中にタスク固有の埋め込み器が残したユニークなインプリントが原因であることを実証的に示す。 最終的に、共有領域が存在しないシナリオでフレームワークをテストし、ナイーブマージよりもメリットが少なくても、スペースのマージに引き続き使用できることを示します。

関連論文リスト

• Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning [64.1745161657794]
  ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。 プレトレーニングモデルの最近の進歩は、DILの確かな基盤を提供する。 しかし、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。 本稿では,歴史的知識の統一と統合を図るために,デュアルコンソリデータティオン(ドゥクト)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T17:58:06Z)
• Learning from Semi-Factuals: A Debiased and Semantic-Aware Framework for Generalized Relation Discovery [12.716874398564482]
  Generalized Relation Discovery (GRD) は、既存の事前定義された関係にある未ラベルのインスタンスを特定したり、新しい関係を発見することを目的としている。 本稿では,2段階の半実物から学習することで,この課題に対する新しいフレームワーク,SFGRDを提案する。 SFGRDの精度は2.36%$sim$5.78%、コサイン類似度は32.19%$sim$84.45%である。
  論文  参考訳（メタデータ） (2024-01-12T02:38:55Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Merging by Matching Models in Task Parameter Subspaces [87.8712523378141]
  モデルマージは、個々のタスク固有のモデルを単一のマルチタスクモデルに安価に結合することを目的としている。 我々は、モデルマージに対するこのアプローチが、方程式の線形系を解くとみなす方法を定式化する。 共役勾配法は閉形式解より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T14:59:15Z)
• Semantic-guided modeling of spatial relation and object co-occurrence for indoor scene recognition [5.083140094792973]
  SpaCoNetは、セマンティックセグメンテーションによって導かれるオブジェクトの空間的関係と共起を同時にモデル化する。 広範に利用されている3つのシーンデータセットの実験結果から,提案手法の有効性と汎用性を示す。
  論文  参考訳（メタデータ） (2023-05-22T03:04:22Z)
• Embracing Structure in Data for Billion-Scale Semantic Product Search [14.962039276966319]
  我々は、数十億の規模でダイアドニューラル埋め込みモデルを訓練し、展開するための原則的アプローチを提案する。 実世界のデータセットの自然な構造を活用することで、両方の課題に効率的に対処できることが示される。
  論文  参考訳（メタデータ） (2021-10-12T16:14:13Z)
• Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning [53.74240452117145]
  本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-28T05:40:01Z)
• UniRE: A Unified Label Space for Entity Relation Extraction [67.53850477281058]
  合同エンティティ関係抽出モデルでは、2つのサブタスクに対して2つの分離ラベル空間を設定する。 この設定は、エンティティとリレーション間の情報相互作用を妨げる可能性があると我々は主張する。 本研究では,2つのサブタスクのラベル空間における異なる処理を除去することを提案する。
  論文  参考訳（メタデータ） (2021-07-09T08:09:37Z)
• Cycle Registration in Persistent Homology with Applications in Topological Bootstrap [0.0]
  2つの空間の持続的ホモロジー表現(フィルタ)を比較するための新しいアプローチを提案する。 2つの異なる空間の個々の持続サイクル間の対応関係を定義する。 サイクルのマッチングは、永続化間隔と各特徴の空間配置の両方に基づいています。
  論文  参考訳（メタデータ） (2021-01-03T20:12:00Z)
• A Boundary Based Out-of-Distribution Classifier for Generalized Zero-Shot Learning [83.1490247844899]
  Generalized Zero-Shot Learning (GZSL)は多くの現実的なシナリオにおいて有望な見通しを持つ挑戦的なトピックである。 本研究では,見知らぬ領域を学習用サンプルのみを用いて分類する境界に基づくアウト・オブ・ディストリビューション(OOD)分類器を提案する。 我々は、AWA1、AWA2、CUB、FLO、SUNを含む5つの人気のあるベンチマークデータセットに対して、我々のアプローチを広範囲に検証する。
  論文  参考訳（メタデータ） (2020-08-09T11:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。