論文の概要: Semantic Label Smoothing for Sequence to Sequence Problems

• arxiv url: http://arxiv.org/abs/2010.07447v1
• Date: Thu, 15 Oct 2020 00:31:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 02:59:24.401301
• Title: Semantic Label Smoothing for Sequence to Sequence Problems
• Title（参考訳）: シーケンス問題に対するセマンティックラベル平滑化
• Authors: Michal Lukasik, Himanshu Jain, Aditya Krishna Menon, Seungyeon Kim, Srinadh Bhojanapalli, Felix Yu, Sanjiv Kumar
• Abstract要約: そこで本研究では,対象シーケンスとn-gramの重なり合いが十分である,エンハンウェル上のスムーズな関連配列を生成する手法を提案する。 提案手法は, 異なるデータセット上での最先端技術よりも一貫した, 顕著な改善を示す。
• 参考スコア（独自算出の注目度）: 54.758974840974425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label smoothing has been shown to be an effective regularization strategy in classification, that prevents overfitting and helps in label de-noising. However, extending such methods directly to seq2seq settings, such as Machine Translation, is challenging: the large target output space of such problems makes it intractable to apply label smoothing over all possible outputs. Most existing approaches for seq2seq settings either do token level smoothing, or smooth over sequences generated by randomly substituting tokens in the target sequence. Unlike these works, in this paper, we propose a technique that smooths over \emph{well formed} relevant sequences that not only have sufficient n-gram overlap with the target sequence, but are also \emph{semantically similar}. Our method shows a consistent and significant improvement over the state-of-the-art techniques on different datasets.
• Abstract（参考訳）: ラベル平滑化は分類において効果的な正規化戦略であることが示されており、過剰フィッティングを防ぎ、ラベル脱ノイズの助けとなる。 しかし、機械翻訳のようなSeq2seq設定に直接拡張することは困難であり、そのような問題の大きなターゲット出力空間は、全ての可能な出力に対してラベルスムーズな適用を困難にしている。 既存のSeq2seq設定のアプローチのほとんどはトークンレベルの平滑化か、ターゲットシーケンス内のトークンをランダムに置換することによって生成されるスムーズなオーバーシーケンスである。 本稿では,これらの研究と異なり,対象配列と十分なn-gram重なりを持つだけでなく,emph{semantically similar}である,関連する配列を平滑化する手法を提案する。 提案手法は, 異なるデータセットにおける最先端技術に対して, 一貫性と大幅な改善を示す。

関連論文リスト

• Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition [49.42732949233184]
  ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。 損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。 そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:13:52Z)
• OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification [9.990725102725916]
  XMTC (Extreme Multi-label text classification) は、大規模ラベルコレクションから最も関連性の高いサブセットラベルを見つけるタスクである。 OTSeq2Set という名前の XMTC タスクに対する自己回帰シーケンス・ツー・セットモデルを提案する。 本モデルは,学生強制スキームにおける予測を生成し,両部マッチングに基づく損失関数を用いて学習する。
  論文  参考訳（メタデータ） (2022-10-26T07:25:18Z)
• Modeling sequential annotations for sequence labeling with crowds [8.239028141030621]
  クラウドシーケンシャルアノテーションは、シーケンスラベリングのための大規模なデータセットを構築する上で、効率的でコスト効率のよい方法である。 群集を用いたシーケンスラベリングのための逐次アノテーションのモデル化(SA-SLC)を提案する。 提案手法は,クラウド・シーケンシャル・アノテーションから有効な基底トラス・ラベル・シーケンスを導出するために有効なラベル・シーケンス・推論(VLSE)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-20T02:51:23Z)
• Seq-UPS: Sequential Uncertainty-aware Pseudo-label Selection for Semi-Supervised Text Recognition [21.583569162994277]
  最も一般的なSSLアプローチの1つは擬似ラベル(PL)である。 PL法はノイズによって著しく劣化し、ノイズの多いラベルに過度に適合する傾向がある。 テキスト認識のための擬似ラベル生成と不確実性に基づくデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-31T02:21:02Z)
• Efficient and Flexible Sublabel-Accurate Energy Minimization [62.50191141358778]
  データと滑らかさの項からなるエネルギー関数のクラスを最小化する問題に対処する。 既存の連続最適化手法は、サブラベル精度の高い解を見つけることができるが、大きなラベル空間では効率が良くない。 本稿では,連続モデルと離散モデルの両方の最適特性を利用する効率的なサブラベル精度手法を提案する。
  論文  参考訳（メタデータ） (2022-06-20T06:58:55Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation [109.46348908829697]
  生成したn-gramのすべてのn-gramとの一致損失を計算した新しい編集不変シーケンス損失(EISL)を提案する。 ノイズの多いターゲットシーケンスを持つ機械翻訳,教師なしテキストスタイル転送,非自己回帰型機械翻訳の3つのタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-29T03:59:21Z)
• Accelerating BERT Inference for Sequence Labeling via Early-Exit [65.7292767360083]
  我々は最近成功した早期退避機構を拡張し、シークエンスラベリングタスクに対するPTMの推論を高速化する。 また、異なる層で部分トークンを早期に退避させるトークンレベルの早期退避機構も提案する。 当社のアプローチでは,パフォーマンスの低下を最小限に抑えながら,最大66%～75%の推論コストを削減できる。
  論文  参考訳（メタデータ） (2021-05-28T14:39:26Z)
• SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup [11.606681893887604]
  本稿では,アクティブなシーケンスラベリングのラベル効率を向上させるため,単純だが効果的なデータ拡張手法を提案する。 提案手法であるSeqMixは,反復毎にラベル付き配列を付加することで,クエリされたサンプルを増大させる。 SeqMixでは、クエリされたサンプルのシーケンスとトークンレベルのラベルをミックスアップすることで、この問題に対処する。
  論文  参考訳（メタデータ） (2020-10-05T20:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。