論文の概要: A Coding-Theoretic Analysis of Hyperspherical Prototypical Learning Geometry

• arxiv url: http://arxiv.org/abs/2407.07664v1
• Date: Wed, 10 Jul 2024 13:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 16:32:05.831296
• Title: A Coding-Theoretic Analysis of Hyperspherical Prototypical Learning Geometry
• Title（参考訳）: 超球形原型学習幾何学の符号化理論解析
• Authors: Martin Lindström, Borja Rodríguez-Gálvez, Ragnar Thobaben, Mikael Skoglund,
• Abstract要約: HPL(Hyperspherical Prototypeal Learning)は、単位超球面上のクラスプロトタイプを設計する表現学習における教師ありアプローチである。 これまでのHPLのアプローチには、以下の欠点がある: (i) 予想外の最適化手順に従う; (ii) 理論上は健全であるが、1つの潜在次元にのみ制約される。
• 参考スコア（独自算出の注目度）: 25.514947992281378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperspherical Prototypical Learning (HPL) is a supervised approach to representation learning that designs class prototypes on the unit hypersphere. The prototypes bias the representations to class separation in a scale invariant and known geometry. Previous approaches to HPL have either of the following shortcomings: (i) they follow an unprincipled optimisation procedure; or (ii) they are theoretically sound, but are constrained to only one possible latent dimension. In this paper, we address both shortcomings. To address (i), we present a principled optimisation procedure whose solution we show is optimal. To address (ii), we construct well-separated prototypes in a wide range of dimensions using linear block codes. Additionally, we give a full characterisation of the optimal prototype placement in terms of achievable and converse bounds, showing that our proposed methods are near-optimal.
• Abstract（参考訳）: HPL(Hyperspherical Prototypeal Learning)は、単位超球面上のクラスプロトタイプを設計する表現学習における教師ありアプローチである。 プロトタイプは、スケール不変かつ既知の幾何学におけるクラス分離の表現をバイアスする。 HPLに対するこれまでのアプローチには、以下の欠点がある。 一 未定の最適化手続に従うこと。 (ii)理論上は健全であるが、一つの潜在次元にのみ制約される。 本稿では,この2つの欠点に対処する。 宛て i) 提案する解が最適である原理的最適化手順を提案する。 宛て (II) 線形ブロック符号を用いて, 幅広い次元でよく区切られたプロトタイプを構築する。 さらに, 提案手法がほぼ最適であることを示すために, 最適プロトタイプ配置を, 達成可能および逆境界の観点から完全な特徴付けを行う。

関連論文リスト

• Improving generalization in large language models by learning prefix subspaces [5.911540700785975]
  本稿では、希少なデータ構造における大規模言語モデル(LLM)の微調整に焦点を当てる("few-shot"学習環境としても知られる)。 ニューラルネットワーク部分空間に基づくLLMの一般化能力を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T12:44:09Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Prototype Completion for Few-Shot Learning [13.63424509914303]
  少数ショット学習は、いくつかの例で新しいクラスを認識することを目的としている。 事前学習に基づく手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。 本稿では,完成度に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:44:00Z)
• Hyperbolic Busemann Learning with Ideal Prototypes [14.525985704735055]
  本研究では,任意のデータの表現学習のための双曲型ブセマン学習を提案する。 理想のプロトタイプに対して近似性を計算するために、罰則を付したブセマン損失を導入する。 実験により,本手法は,近年の超球面・双曲型プロトタイプよりも高い精度で,分類信頼性の自然な解釈を提供することを示した。
  論文  参考訳（メタデータ） (2021-06-28T08:36:59Z)
• MetaNODE: Prototype Optimization as a Neural ODE for Few-Shot Learning [15.03769312691378]
  Few-Shot Learningは、例が少なくて新しいクラスを認識する方法など、難しいタスクです。 本稿では,プロトタイプ最適化問題として,バイアスの低減を図る。 MetaNODEと呼ばれる新しいプロトタイプ最適化ベースのメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-26T09:16:46Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Convex Representation Learning for Generalized Invariance in Semi-Inner-Product Space [32.442549424823355]
  本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。 これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-04-25T18:54:37Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。