論文の概要: LSFSL: Leveraging Shape Information in Few-shot Learning

• arxiv url: http://arxiv.org/abs/2304.06672v1
• Date: Thu, 13 Apr 2023 16:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 13:38:23.250456
• Title: LSFSL: Leveraging Shape Information in Few-shot Learning
• Title（参考訳）: LSFSL:Few-shot Learningにおける形状情報の活用
• Authors: Deepan Chakravarthi Padmanabhan, Shruthi Gowda, Elahe Arani, Bahram Zonooz
• Abstract要約: 少ないショットの学習技術は、限られた経験から人間がどのように学習するかに似た、少ないサンプルを使用して、データの基盤となるパターンを学習しようとする。 この限定データシナリオでは、ショートカット学習やテクスチャバイアス行動など、ディープニューラルネットワークに関連する課題がさらに悪化する。 本研究では,データに含まれる暗黙的な事前情報を利用して,より一般化可能な特徴を学習するためにモデルを強制するLSFSLを提案する。
• 参考スコア（独自算出の注目度）: 11.145085584637746
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Few-shot learning (FSL) techniques seek to learn the underlying patterns in data using fewer samples, analogous to how humans learn from limited experience. In this limited-data scenario, the challenges associated with deep neural networks, such as shortcut learning and texture bias behaviors, are further exacerbated. Moreover, the significance of addressing shortcut learning is not yet fully explored in the few-shot setup. To address these issues, we propose LSFSL, which enforces the model to learn more generalizable features utilizing the implicit prior information present in the data. Through comprehensive analyses, we demonstrate that LSFSL-trained models are less vulnerable to alteration in color schemes, statistical correlations, and adversarial perturbations leveraging the global semantics in the data. Our findings highlight the potential of incorporating relevant priors in few-shot approaches to increase robustness and generalization.
• Abstract（参考訳）: FSL(Few-shot Learning)技術は、限られた経験から人間がどのように学習するかに類似した、少ないサンプルを使用して、データの基盤となるパターンを学習しようとする。 この限られたデータシナリオでは、近道学習やテクスチャバイアスの振る舞いなど、ディープニューラルネットワークに関連する課題はさらに悪化する。 さらに、ショートカット学習に対処することの重要性は、数ショットのセットアップでまだ完全には検討されていない。 そこで本研究では,データに含まれる暗黙の事前情報を利用して,より汎用的な特徴を学習するlsfslを提案する。 包括的分析を通じて,lsfsl学習モデルでは,カラースキームの変化,統計相関,データにおけるグローバルセマンティクスを利用した逆向摂動に対する脆弱性が低くなることを実証する。 本研究は,ロバスト性と一般化を促進するために,少数のアプローチで関連する優先順位を組み込む可能性を浮き彫りにする。

関連論文リスト

• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing [0.0]
  WiFiセンサーは、様々なセンサーアプリケーションに無線信号を利用する新興技術である。 本稿では,CAPC(Context-Aware Predictive Coding)と呼ばれる新しいSSLフレームワークを紹介する。 CAPCは問題のないデータから効果的に学習し、多様な環境に適応する。 評価の結果、CAPCは他のSSLメソッドや教師付きアプローチよりも優れているだけでなく、優れた一般化能力も達成できることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T17:59:49Z)
• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• Can We Break Free from Strong Data Augmentations in Self-Supervised Learning? [18.83003310612038]
  ディープニューラルネットワーク(DNN)における限定ラベル付きデータの課題に対処するための、有望なソリューションとして、自己教師付き学習(SSL)が登場した。 SSLモデルのパフォーマンスと学習メカニズムを形作る上で,SSLの動作が重要な役割を担っていることを明らかにする。 本稿では,事前知識を統合した新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T12:53:48Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。