論文の概要: Relative Representations: Topological and Geometric Perspectives

• arxiv url: http://arxiv.org/abs/2409.10967v1
• Date: Tue, 17 Sep 2024 08:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 17:28:59.459627
• Title: Relative Representations: Topological and Geometric Perspectives
• Title（参考訳）: 相対表現:トポロジカル・幾何学的視点
• Authors: Alejandro García-Castellanos, Giovanni Luca Marchetti, Danica Kragic, Martina Scolamiero,
• Abstract要約: 相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
• 参考スコア（独自算出の注目度）: 53.88896255693922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relative representations are an established approach to zero-shot model stitching, consisting of a non-trainable transformation of the latent space of a deep neural network. Based on insights of topological and geometric nature, we propose two improvements to relative representations. First, we introduce a normalization procedure in the relative transformation, resulting in invariance to non-isotropic rescalings and permutations. The latter coincides with the symmetries in parameter space induced by common activation functions. Second, we propose to deploy topological densification when fine-tuning relative representations, a topological regularization loss encouraging clustering within classes. We provide an empirical investigation on a natural language task, where both the proposed variations yield improved performance on zero-shot model stitching.
• Abstract（参考訳）: 相対表現はゼロショットモデルの縫合に対する確立されたアプローチであり、ディープニューラルネットワークの潜在空間の非トレーニング可能な変換からなる。 トポロジカル・幾何学的性質の洞察に基づき,相対表現の2つの改善を提案する。 まず、相対変換における正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 後者は共通活性化関数によって誘導されるパラメータ空間の対称性と一致する。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。 提案手法は,いずれもゼロショットモデル縫合の性能向上を図った自然言語処理に関する実証的研究である。

関連論文リスト

• Unified theory for joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields [0.5439020425819]
  本研究では,時間的イメージ関係下での受容場からの出力と一致させるために,受容場のパラメータをどのように変換する必要があるかを示す。 導出結合共分散特性が受容場応答を関連づけたり一致させたりすることができるかを示す幾何学的解析で結論付ける。
  論文  参考訳（メタデータ） (2023-11-17T14:10:55Z)
• Affine Invariance in Continuous-Domain Convolutional Neural Networks [6.019182604573028]
  本研究では,連続領域畳み込みニューラルネットワークにおけるアフィン不変性について検討する。 アフィン変換における2つの入力信号の類似性を評価するための新しい基準を導入する。 私たちの研究は最終的には、実用的なディープラーニングパイプラインが扱える幾何学的変換の範囲を広げることができます。
  論文  参考訳（メタデータ） (2023-11-13T14:17:57Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• Deep neural networks on diffeomorphism groups for optimal shape reparameterization [44.99833362998488]
  基本微分同相の合成による配向保存微分同相の近似を構成するアルゴリズムを提案する。 このアルゴリズムはPyTorchを用いて実装され、非パラメータ化された曲線と曲面の両方に適用できる。
  論文  参考訳（メタデータ） (2022-07-22T15:25:59Z)
• Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime [9.184987303791292]
  可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。 定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。 モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:33Z)
• Counting Phases and Faces Using Bayesian Thermodynamic Integration [77.34726150561087]
  本稿では,2パラメータ統計力学系における熱力学関数と位相境界の再構成手法を提案する。 提案手法を用いて,IsingモデルとTASEPの分割関数と位相図を正確に再構成する。
  論文  参考訳（メタデータ） (2022-05-18T17:11:23Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Addressing the Topological Defects of Disentanglement via Distributed Operators [10.29148285032989]
  ゆがみに対する一般的なアプローチは、これらの因子をモデルの潜在表現の別個の部分空間にマッピングする学習である。 ここでは、画像に作用する広範な変換系に対して、この手法がトポロジ的欠陥をもたらすことを示す。 群表現論の古典的な結果に動機付けられ、より柔軟な解離へのアプローチについて研究する。
  論文  参考訳（メタデータ） (2021-02-10T18:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。