Fugu-MT 論文翻訳(概要): Self-Knowledge Distillation for Learning Ambiguity

論文の概要: Self-Knowledge Distillation for Learning Ambiguity

arxiv url: http://arxiv.org/abs/2406.09719v1
Date: Fri, 14 Jun 2024 05:11:32 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 15:03:43.265391
Title: Self-Knowledge Distillation for Learning Ambiguity
Title（参考訳）: あいまいさ学習のための自己知識蒸留
Authors: Hancheol Park, Soyeong Jeong, Sukmin Cho, Jong C. Park,
Abstract要約: 最近の言語モデルは、その正確さを考慮せずに単一のラベルを過度に予測することが多い。本稿では,ラベル分布をより正確に学習できる新しい自己知識蒸留法を提案する。本手法を多種多様なNLUベンチマークデータセットで検証し,実験結果から,より優れたラベル分布を生成する上での有効性を実証した。
参考スコア（独自算出の注目度）: 11.755814660833549
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent language models have shown remarkable performance on natural language understanding (NLU) tasks. However, they are often sub-optimal when faced with ambiguous samples that can be interpreted in multiple ways, over-confidently predicting a single label without consideration for its correctness. To address this issue, we propose a novel self-knowledge distillation method that enables models to learn label distributions more accurately by leveraging knowledge distilled from their lower layers. This approach also includes a learning phase that re-calibrates the unnecessarily strengthened confidence for training samples judged as extremely ambiguous based on the distilled distribution knowledge. We validate our method on diverse NLU benchmark datasets and the experimental results demonstrate its effectiveness in producing better label distributions. Particularly, through the process of re-calibrating the confidence for highly ambiguous samples, the issue of over-confidence when predictions for unseen samples do not match with their ground-truth labels has been significantly alleviated. This has been shown to contribute to generating better distributions than the existing state-of-the-art method. Moreover, our method is more efficient in training the models compared to the existing method, as it does not involve additional training processes to refine label distributions.
Abstract（参考訳）: 最近の言語モデルは自然言語理解(NLU)タスクにおいて顕著な性能を示している。しかし、複数の方法で解釈できるあいまいなサンプルに直面した場合、しばしば準最適であり、その正確さを考慮せずに単一のラベルを過度に予測する。そこで本研究では,下層層から抽出した知識を活用して,ラベル分布をより正確に学習する自己知識蒸留法を提案する。このアプローチはまた、蒸留された分布知識に基づいて極めて曖昧であると判断されたトレーニングサンプルに対して、不要に強化された信頼性を再校正する学習フェーズを含む。本手法を多種多様なNLUベンチマークデータセットで検証し,実験結果から,より優れたラベル分布を生成する上での有効性を実証した。特に、高度に曖昧なサンプルに対する信頼度を再検討する過程で、見知らぬサンプルに対する予測が地味ラベルと一致しない場合の過信の問題が大幅に緩和された。これは既存の最先端手法よりも優れた分布を生成するのに寄与することが示されている。さらに,本手法は,ラベル分布を洗練するための追加のトレーニングプロセスを必要としないため,既存の手法と比較してモデルのトレーニングに効率がよい。

関連論文リスト

InPL: Pseudo-labeling the Inliers First for Imbalanced Semi-supervised Learning [34.062061310242385]
不均衡半教師付き学習(SSL)のための疑似ラベルの新しい視点を提案する。未表示のサンプルが「流通中」か「流通外」かを測定する。実験により、我々のエネルギーベース擬似ラベル法である textbfInPL が、不均衡なSSLベンチマークにおいて信頼性ベースの手法よりも著しく優れていることが示された。
論文参考訳（メタデータ） (2023-03-13T16:45:41Z)
SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2023-01-26T03:53:25Z)
Multi-View Knowledge Distillation from Crowd Annotations for Out-of-Domain Generalization [53.24606510691877]
本稿では,既存の手法による分布を集約することで,クラウドアノテーションからソフトラベルを取得する新しい手法を提案する。これらのアグリゲーション手法は、ドメイン外テストセット上の4つのNLPタスクにおいて、最も一貫したパフォーマンスをもたらすことを実証する。
論文参考訳（メタデータ） (2022-12-19T12:40:18Z)
Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。提案手法の有効性を3つのベンチマークデータセットで検証した。
論文参考訳（メタデータ） (2022-12-06T07:38:29Z)
Uncertainty-aware Label Distribution Learning for Facial Expression Recognition [13.321770808076398]
本研究では,不確実性と曖昧性に対する深層モデルのロバスト性を改善するために,新しい不確実性を考慮したラベル分布学習法を提案する。本手法は深層ネットワークに容易に組み込んで,より訓練の監督と認識精度の向上を図ることができる。
論文参考訳（メタデータ） (2022-09-21T15:48:41Z)
Gray Learning from Non-IID Data with Out-of-distribution Samples [45.788789553551176]
専門家が注釈を付けたとしても、トレーニングデータの完全性は保証されていない。我々は,基本真実と相補的ラベルを両立させる新しいアプローチであるtextitGray Learningを導入する。統計学習理論における我々のアプローチを基礎として、一般化誤差の境界を導出し、GLが非IID設定でも厳密な制約を達成できることを実証する。
論文参考訳（メタデータ） (2022-06-19T10:46:38Z)
EnergyMatch: Energy-based Pseudo-Labeling for Semi-Supervised Learning [34.062061310242385]
半教師付き学習(SSL)における最近の最先端手法は、整合性正規化と信頼に基づく疑似ラベルを組み合わせる。モデル信頼に頼る代わりに、ラベルのないサンプルが「流通中」であるかどうかを測定する。
論文参考訳（メタデータ） (2022-06-13T17:55:07Z)
Credal Self-Supervised Learning [0.0]
未ラベルのインスタンスに対して,学習者が"擬似スーパービジョン"を生成する方法を示す。整合性正規化と組み合わせて、擬似ラベルは様々な領域で有望な性能を示している。我々は、我々の方法論を最先端のセルフスーパービジョンアプローチと比較する。
論文参考訳（メタデータ） (2021-06-22T15:19:04Z)
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。 PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文参考訳（メタデータ） (2021-01-15T23:29:57Z)
Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-21T13:27:09Z)
Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。