論文の概要: HyperShot: Few-Shot Learning by Kernel HyperNetworks

• arxiv url: http://arxiv.org/abs/2203.11378v1
• Date: Mon, 21 Mar 2022 22:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 09:41:18.430398
• Title: HyperShot: Few-Shot Learning by Kernel HyperNetworks
• Title（参考訳）: HyperShot: Kernel HyperNetworksによるいくつかのショット学習
• Authors: Marcin Sendera, Marcin Przewi\k{e}\'zlikowski, Konrad Karanowski, Maciej Zi\k{e}ba, Jacek Tabor, Przemys{\l}aw Spurek
• Abstract要約: 少数のショットモデルは、与えられたタスクから最小限のラベル付き例を使って予測することを目的としている。 カーネルとハイパーネットワークのパラダイムを融合したHyperShotを提案する。
• 参考スコア（独自算出の注目度）: 8.409796251699076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot models aim at making predictions using a minimal number of labeled examples from a given task. The main challenge in this area is the one-shot setting where only one element represents each class. We propose HyperShot - the fusion of kernels and hypernetwork paradigm. Compared to reference approaches that apply a gradient-based adjustment of the parameters, our model aims to switch the classification module parameters depending on the task's embedding. In practice, we utilize a hypernetwork, which takes the aggregated information from support data and returns the classifier's parameters handcrafted for the considered problem. Moreover, we introduce the kernel-based representation of the support examples delivered to hypernetwork to create the parameters of the classification module. Consequently, we rely on relations between embeddings of the support examples instead of direct feature values provided by the backbone models. Thanks to this approach, our model can adapt to highly different tasks.
• Abstract（参考訳）: 少数ショットモデルは、与えられたタスクから最小限のラベル付き例を使って予測することを目指している。 この領域の主な課題は、1つの要素だけが各クラスを表すワンショット設定である。 我々は,カーネルとハイパーネットワークの融合を提案する。 パラメータの勾配に基づく調整を適用する参照アプローチと比較して,本モデルはタスクの埋め込みに応じて分類モジュールパラメータを切り替えることを目的としている。 実際に我々は,支援データから集約された情報を取り込み,検討した問題に対して手作りした分類器のパラメータを返却するハイパーネットワークを利用する。 さらに、ハイパーネットワークに配信されるサポート例のカーネルベース表現を導入し、分類モジュールのパラメータを作成する。 したがって、バックボーンモデルが提供する直接的特徴値ではなく、サポート例の埋め込み間の関係に依存する。 このアプローチのおかげで、モデルは極めて異なるタスクに適応できます。

関連論文リスト

• Tracing Hyperparameter Dependencies for Model Parsing via Learnable Graph Pooling Network [21.484648648511854]
  本稿では,LGPN(Learningable Graph Pooling Network)と呼ばれる新しいモデル解析手法を提案する。 LGPNには、モデル解析に適した学習可能なプールアンプール機構が組み込まれている。 提案手法をCNN生成画像検出と協調攻撃検出に拡張する。
  論文  参考訳（メタデータ） (2023-12-03T22:05:05Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Prompt-Matched Semantic Segmentation [96.99924127527002]
  本研究の目的は、事前学習した基礎モデルを、画像意味セグメンテーションの下流の様々なタスクに効果的に適応する方法を検討することである。 本稿では,タスク指向のチューニングに適応的に視覚的プロンプトを生成するとともに,基礎モデルの本来の構造を維持できる新しい階層間プロンプトマッチングフレームワークを提案する。 次に、Semantic-aware Prompt Matcherと呼ばれる軽量モジュールを導入し、2つのステージ間で階層的に補間し、各タスクに対して適切なプロンプトを学習する。
  論文  参考訳（メタデータ） (2022-08-22T09:12:53Z)
• CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification [11.894289991529496]
  少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。 最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。 本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T06:14:51Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Bayesian Few-Shot Classification with One-vs-Each P\'olya-Gamma Augmented Gaussian Processes [7.6146285961466]
  FSC(Few-shot Classification)は、人間のような機械学習への道のりの重要なステップである。 P'olya-Gamma augmentation と one-vs-each softmax approximation の新たな組み合わせを提案する。 標準的な数ショット分類ベンチマークと数ショットドメイン転送タスクの両方において、精度の向上と不確かさの定量化を実証した。
  論文  参考訳（メタデータ） (2020-07-20T19:10:41Z)
• Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification [66.91839845347604]
  特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。 我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。 提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
  論文  参考訳（メタデータ） (2020-05-18T05:31:04Z)
• Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters [5.319361976450981]
  フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。 現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。 本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。