論文の概要: Task Attribute Distance for Few-Shot Learning: Theoretical Analysis and Applications

• arxiv url: http://arxiv.org/abs/2403.03535v1
• Date: Wed, 6 Mar 2024 08:29:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:44:41.193298
• Title: Task Attribute Distance for Few-Shot Learning: Theoretical Analysis and Applications
• Title（参考訳）: Few-Shot Learningのためのタスク属性距離:理論的解析と応用
• Authors: Minyang Hu, Hong Chang, Zong Guo, Bingpeng Ma, Shiguan Shan and Xilin Chen
• Abstract要約: 少ないショットラーニングは、emph関連のトレーニングタスクの経験を活用することで、ラベル付きサンプルで新しいタスクを学習することを目的としている。 本稿では,属性の上に構築されたタスク属性距離(TAD)を,タスク関連性の定量化のための指標として紹介する。 新しいタスクに縛られた一般化誤差を導出することにより,TADが新しいタスクへの適応困難度をどのように測定するかを明らかにする。
• 参考スコア（独自算出の注目度）: 47.79298539506874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning (FSL) aims to learn novel tasks with very few labeled samples by leveraging experience from \emph{related} training tasks. In this paper, we try to understand FSL by delving into two key questions: (1) How to quantify the relationship between \emph{training} and \emph{novel} tasks? (2) How does the relationship affect the \emph{adaptation difficulty} on novel tasks for different models? To answer the two questions, we introduce Task Attribute Distance (TAD) built upon attributes as a metric to quantify the task relatedness. Unlike many existing metrics, TAD is model-agnostic, making it applicable to different FSL models. Then, we utilize TAD metric to establish a theoretical connection between task relatedness and task adaptation difficulty. By deriving the generalization error bound on a novel task, we discover how TAD measures the adaptation difficulty on novel tasks for FSL models. To validate our TAD metric and theoretical findings, we conduct experiments on three benchmarks. Our experimental results confirm that TAD metric effectively quantifies the task relatedness and reflects the adaptation difficulty on novel tasks for various FSL methods, even if some of them do not learn attributes explicitly or human-annotated attributes are not available. Finally, we present two applications of the proposed TAD metric: data augmentation and test-time intervention, which further verify its effectiveness and general applicability. The source code is available at https://github.com/hu-my/TaskAttributeDistance.
• Abstract（参考訳）: FSL(Few-shot Learning)は,emph{related}トレーニングタスクの経験を活用することで,ラベル付きサンプルの少ない新規タスクの学習を目的とする。 本稿では,(1)emph{training} タスクと \emph{novel} タスクの関係を定量化する方法について,FSL の2つの重要な疑問を掘り下げて理解しようとする。 2) 異なるモデルに対する新規タスクにおけるemph{adaptation difficulty}の関係はどのように影響するか? 2つの質問に答えるために、属性の上に構築されたタスク属性距離(TAD)を導入し、タスク関連性を定量化する。 多くの既存のメトリクスとは異なり、TADはモデルに依存しないため、異なるFSLモデルに適用できる。 そして,TAD測定値を用いて,タスク関連性とタスク適応困難との理論的関係を確立する。 新たなタスクに縛られた一般化誤差を導出することにより,FSLモデルの新規タスクに対する適応困難度をTADがどのように測定するかを明らかにする。 TAD測定と理論的な結果を検証するため、3つのベンチマークで実験を行った。 実験の結果, tadメトリックはタスク関連性を効果的に定量化し, fsl法における新しいタスクへの適応の困難さを反映していることが明らかとなった。 最後に,提案するtad指標の2つの応用について述べる。データ拡張とテスト時間介入であり,その効果と汎用性をさらに検証する。 ソースコードはhttps://github.com/hu-my/TaskAttributeDistance.comで入手できる。

関連論文リスト

• From Instance Training to Instruction Learning: Task Adapters Generation from Instructions [29.452006810725184]
  本稿では,事例学習の欠点に対処するために,人間の学習をシミュレートすることに焦点を当てる。 タスク固有のモデルを自動的に構築するTAGI(Task Adapters from Instructions)を導入する。 超自然的インストラクションとP3データセットを用いたTAGIの評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T08:14:28Z)
• A Unified Causal View of Instruction Tuning [76.1000380429553]
  メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
  論文  参考訳（メタデータ） (2024-02-09T07:12:56Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning [20.177260510548535]
  本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。 提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
  論文  参考訳（メタデータ） (2023-04-11T15:38:21Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Negative Inner-Loop Learning Rates Learn Universal Features [0.0]
  メタSGDにおける学習速度がタスクごとの特徴表現に与える影響について検討する。 負の学習速度は、特徴をタスク固有の特徴から切り離し、タスクに依存しない特徴へと押し上げる。 これはメタSGDの負の学習速度が、単にタスク固有の特徴に適応するのではなく、タスクに依存しない特徴を学習させるという仮説を裏付けるものである。
  論文  参考訳（メタデータ） (2022-03-18T22:43:16Z)
• Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
  最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。 トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。 我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-11T02:35:42Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• The Sample Complexity of Meta Sparse Regression [38.092179552223364]
  本稿では,無限タスクによる疎線形回帰におけるメタラーニング問題に対処する。 T in O ((k log(p) ) /l ) タスクが全タスクの共通サポートを回復するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-22T00:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。