論文の概要: Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference

• arxiv url: http://arxiv.org/abs/2210.14545v1
• Date: Wed, 26 Oct 2022 08:06:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 16:01:43.172791
• Title: Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference
• Title（参考訳）: 実用的マイ・ショット・クェリ・セットに向けて:トランスダクティブ・最小記述長推論
• Authors: S\'egol\`ene Martin (OPIS, CVN), Malik Boudiaf (ETS), Emilie Chouzenoux (OPIS, CVN), Jean-Christophe Pesquet (OPIS, CVN), Ismail Ben Ayed (ETS)
• Abstract要約: そこで本研究では,PrimAl Dual Minimum Description LEngth (PADDLE) の定式化について述べる。 制約のあるMDLライクな目的は、いくつかのタスクのデータに適合する有効なクラスのみを保ちながら、起こりうる多数のクラス間の競争を促進する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard few-shot benchmarks are often built upon simplifying assumptions on the query sets, which may not always hold in practice. In particular, for each task at testing time, the classes effectively present in the unlabeled query set are known a priori, and correspond exactly to the set of classes represented in the labeled support set. We relax these assumptions and extend current benchmarks, so that the query-set classes of a given task are unknown, but just belong to a much larger set of possible classes. Our setting could be viewed as an instance of the challenging yet practical problem of extremely imbalanced K-way classification, K being much larger than the values typically used in standard benchmarks, and with potentially irrelevant supervision from the support set. Expectedly, our setting incurs drops in the performances of state-of-the-art methods. Motivated by these observations, we introduce a PrimAl Dual Minimum Description LEngth (PADDLE) formulation, which balances data-fitting accuracy and model complexity for a given few-shot task, under supervision constraints from the support set. Our constrained MDL-like objective promotes competition among a large set of possible classes, preserving only effective classes that befit better the data of a few-shot task. It is hyperparameter free, and could be applied on top of any base-class training. Furthermore, we derive a fast block coordinate descent algorithm for optimizing our objective, with convergence guarantee, and a linear computational complexity at each iteration. Comprehensive experiments over the standard few-shot datasets and the more realistic and challenging i-Nat dataset show highly competitive performances of our method, more so when the numbers of possible classes in the tasks increase. Our code is publicly available at https://github.com/SegoleneMartin/PADDLE.
• Abstract（参考訳）: 標準の少数ショットベンチマークは、クエリセットの仮定を単純化することに基づいて構築されることが多い。 特に、テスト時の各タスクについて、ラベルなしのクエリ集合に効果的に存在するクラスは優先順位として知られ、ラベル付きサポートセットで表されるクラスの集合と正確に対応している。 これらの仮定を緩和し、現在のベンチマークを拡張して、与えられたタスクのクエリセットクラスが未知になるようにします。 我々の設定は、非常に不均衡なKウェイ分類の挑戦的かつ実践的な問題の一例であり、Kは標準ベンチマークで一般的に使用される値よりもはるかに大きい。 予想通り、私たちの設定は最先端のメソッドのパフォーマンスを低下させます。 これらの観察に動機づけられた本研究では,データフィッティング精度とモデル複雑性のバランスを,サポートセットからの監督制約の下でバランスさせるプライマルな双対最小記述長(paddle)の定式化を導入する。 制約付きmdlライクな目標は,可能な多数のクラス間の競争を促進し,少数のタスクのデータに適合する有効なクラスのみを保持する。 ハイパーパラメータフリーであり、どんなベースクラスのトレーニングにも適用できる。 さらに,各反復における収束保証と線形計算複雑性を考慮し,目的を最適化するための高速ブロック座標降下アルゴリズムを導出する。 標準のマイナショットデータセットとより現実的で挑戦的なi-natデータセットに関する包括的な実験は、タスク内の可能なクラスの数が増加するほど、我々のメソッドの競争力の高い性能を示している。 私たちのコードはhttps://github.com/SegoleneMartin/PADDLEで公開されています。

関連論文リスト

• Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
  一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。 また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2023-09-10T10:57:41Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• A Simple and Effective Framework for Strict Zero-Shot Hierarchical Classification [23.109264015761873]
  大規模言語モデル(LLM)は、特にゼロまたは少数ショット設定において、ベンチマークタスクで強力なパフォーマンスを達成した。 階層的なデータセットに対して,より示唆的なロングテール予測タスクを提案する。 本手法は,リソース集約的なプロセスである更新を一切必要とせず,複数のデータセットにまたがる高いパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-24T16:04:26Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• Complementary Labels Learning with Augmented Classes [22.460256396941528]
  補完ラベル学習 (Complementary Labels Learning, CLL) は、プライベート質問分類やオンライン学習など、現実世界の多くのタスクに現れる。 CLLAC(Complementary Labels Learning with Augmented Classs)と呼ばれる新しい問題設定を提案する。 ラベルのないデータを用いて,CLLACの分類リスクの偏りのない推定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T13:55:27Z)
• Transductive Few-Shot Learning: Clustering is All You Need? [31.21306826132773]
  そこで本研究では,プロトタイプをベースとした超越的数ショット学習の汎用的定式化について検討する。 提案手法は, 精度と最適化の観点から, 大きな問題にスケールアップしながら, 競争性能を向上する。 驚いたことに、私たちの一般的なモデルは、最先端の学習と比較して、すでに競争力のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-06-16T16:14:01Z)
• SetConv: A New Approach for Learning from Imbalanced Data [29.366843553056594]
  集合畳み込み操作とエピソード学習戦略を提案し,各クラスに1つの代表を抽出する。 提案アルゴリズムは入力順序に関わらず置換不変であることを示す。
  論文  参考訳（メタデータ） (2021-04-03T22:33:30Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Laplacian Regularized Few-Shot Learning [35.381119443377195]
  少数ショットタスクに対するラプラシアン正規化推論を提案する。 私たちの推論はベースモデルを再トレーニングするものではなく、クエリセットのグラフクラスタリングとして見ることができます。 我々のLaplacianShotは、異なるモデル間で大きなマージンで最先端の手法を一貫して上回ります。
  論文  参考訳（メタデータ） (2020-06-28T02:17:52Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。