Fugu-MT 論文翻訳(概要): Distinguishability Calibration to In-Context Learning

論文の概要: Distinguishability Calibration to In-Context Learning

arxiv url: http://arxiv.org/abs/2302.06198v1
Date: Mon, 13 Feb 2023 09:15:00 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 16:17:19.157430
Title: Distinguishability Calibration to In-Context Learning
Title（参考訳）: 文脈内学習における識別性校正
Authors: Hongjing Li, Hanqi Yan, Yanran Li, Li Qian, Yulan He, Lin Gui
Abstract要約: そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
参考スコア（独自算出の注目度）: 31.375797763897104
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent years have witnessed increasing interests in prompt-based learning in which models can be trained on only a few annotated instances, making them suitable in low-resource settings. When using prompt-based learning for text classification, the goal is to use a pre-trained language model (PLM) to predict a missing token in a pre-defined template given an input text, which can be mapped to a class label. However, PLMs built on the transformer architecture tend to generate similar output embeddings, making it difficult to discriminate between different class labels. The problem is further exacerbated when dealing with classification tasks involving many fine-grained class labels. In this work, we alleviate this information diffusion issue, i.e., different tokens share a large proportion of similar information after going through stacked multiple self-attention layers in a transformer, by proposing a calibration method built on feature transformations through rotation and scaling to map a PLM-encoded embedding into a new metric space to guarantee the distinguishability of the resulting embeddings. Furthermore, we take the advantage of hyperbolic embeddings to capture the hierarchical relations among fine-grained class-associated token embedding by a coarse-to-fine metric learning strategy to enhance the distinguishability of the learned output embeddings. Extensive experiments on the three datasets under various settings demonstrate the effectiveness of our approach. Our code can be found at https://github.com/donttal/TARA.
Abstract（参考訳）: 近年、いくつかのアノテーション付きインスタンスでモデルをトレーニングできるプロンプトベースの学習への関心が高まっており、低リソース環境では適している。テキスト分類にプロンプトベースの学習を使用する場合、事前学習された言語モデル(plm)を使用して、入力テキストが与えられた事前定義されたテンプレートで欠落したトークンを予測し、クラスラベルにマッピングする。しかし、トランスアーキテクチャ上に構築されたPLMは、同様の出力埋め込みを生成する傾向があるため、異なるクラスラベルの区別が難しい。この問題は、多くのきめ細かいクラスラベルを含む分類タスクを扱う際にさらに悪化する。本研究では、この情報拡散問題、すなわち、複数の自己保持層をトランスフォーマーに積み重ねた後に、異なるトークンが同様の情報を共有することを緩和するために、回転とスケーリングを通じて特徴変換に基づいて構築されたキャリブレーション手法を提案し、その結果の埋め込みの識別性を保証するために、PLM符号化埋め込みを新しい距離空間にマッピングする。さらに,ハイパーボリックな埋め込みの利点を生かし,粒度の細かいクラス関連トークンの階層的関係を粗いメトリック学習戦略によって捉え,学習した出力埋め込みの識別性を高める。様々な環境下での3つのデータセットに対する大規模な実験は、我々のアプローチの有効性を示す。私たちのコードはhttps://github.com/donttal/taraにあります。

関連論文リスト

Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
論文参考訳（メタデータ） (2024-10-14T12:47:11Z)
Multi-Label Knowledge Distillation [86.03990467785312]
本稿では,新しい多ラベル知識蒸留法を提案する。一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
論文参考訳（メタデータ） (2023-08-12T03:19:08Z)
MCTformer+: Multi-Class Token Transformer for Weakly Supervised Semantic Segmentation [90.73815426893034]
弱教師付きセマンティックセグメンテーションの強化を目的としたトランスフォーマーベースのフレームワークを提案する。複数のクラストークンを組み込んだマルチクラストークン変換器を導入し,パッチトークンとのクラス認識インタラクションを実現する。識別型クラストークンの学習を促進するために,Contrastive-Class-Token (CCT)モジュールを提案する。
論文参考訳（メタデータ） (2023-08-06T03:30:20Z)
Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Good Instance Classifier is All You Need [18.832471712088353]
MIL設定下では,インスタンスレベルの弱教師付きコントラスト学習アルゴリズムを初めて提案する。また,プロトタイプ学習による正確な擬似ラベル生成手法を提案する。
論文参考訳（メタデータ） (2023-07-05T12:44:52Z)
Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
論文参考訳（メタデータ） (2023-03-21T07:00:35Z)
Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
テキストのタスク固有の埋め込みを学習する学習目標を提案する。提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
論文参考訳（メタデータ） (2022-11-30T19:56:25Z)
Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
監督されたディープラーニングは、大量の注釈付き例に依存している。典型的な方法は、複数のノイズアノテータから学習することである。本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
論文参考訳（メタデータ） (2022-03-08T16:57:00Z)
Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
論文参考訳（メタデータ） (2021-07-07T11:43:59Z)
Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文参考訳（メタデータ） (2021-06-07T17:13:59Z)
Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
論文参考訳（メタデータ） (2020-10-23T21:52:38Z)
Multi-Label Text Classification using Attention-based Graph Neural Network [0.0]
ラベル間の注意的依存構造を捉えるために,グラフアテンションネットワークに基づくモデルを提案する。提案モデルでは, 従来の最先端モデルと比較して, 類似あるいは良好な性能が得られた。
論文参考訳（メタデータ） (2020-03-22T17:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。