論文の概要: Lon-e{\aa} at SemEval-2023 Task 11: A Comparison of\\Activation
Functions for Soft and Hard Label Prediction
- arxiv url: http://arxiv.org/abs/2303.02468v1
- Date: Sat, 4 Mar 2023 17:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 19:30:18.222715
- Title: Lon-e{\aa} at SemEval-2023 Task 11: A Comparison of\\Activation
Functions for Soft and Hard Label Prediction
- Title(参考訳): SemEval-2023タスク11におけるLon-e{\aa}:ソフトおよびハードラベル予測のための\\Activation関数の比較
- Authors: Peyman Hosseini, Mehran Hosseini, Sana Sabah Al-Azzawi, Marcus
Liwicki, Ignacio Castro, Matthew Purver
- Abstract要約: 深層ニューラルネットワークモデルの出力層における異なる活性化関数の影響について検討する。
目標は、ソフトラベルを予測することで、不一致の量を定量化することです。
- 参考スコア(独自算出の注目度): 4.102428477799723
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the influence of different activation functions in the output layer
of deep neural network models for soft and hard label prediction in the
learning with disagreement task. In this task, the goal is to quantify the
amount of disagreement via predicting soft labels. To predict the soft labels,
we use BERT-based preprocessors and encoders and vary the activation function
used in the output layer, while keeping other parameters constant. The soft
labels are then used for the hard label prediction. The activation functions
considered are sigmoid as well as a step-function that is added to the model
post-training and a sinusoidal activation function, which is introduced for the
first time in this paper.
- Abstract(参考訳): 深層ニューラルネットワークモデルの出力層における異なるアクティベーション関数の影響について,不一致タスクの学習におけるソフトラベルとハードラベルの予測について検討した。
このタスクでは、ソフトラベルの予測を通じて不一致の量を定量化することが目標です。
ソフトラベルの予測にはbertベースのプリプロセッサとエンコーダを使用し、他のパラメータを一定に保ちながら出力層で使用されるアクティベーション関数を変化させる。
ソフトラベルはハードラベル予測に使用される。
検討した活性化関数はsgmoidであり、トレーニング後のモデルに追加されるステップ関数と、本論文で初めて導入された正弦波活性化関数である。
関連論文リスト
- Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech
Recognition [49.42732949233184]
ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。
損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。
そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-08-12T12:13:52Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳(メタデータ) (2023-01-16T23:38:37Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-08T05:53:53Z) - SepLL: Separating Latent Class Labels from Weak Supervision Noise [4.730767228515796]
弱い教師付き学習では、ラベル付け機能は自動的にデータサンプルにラベルを割り当て、しばしばうるさい。
本研究では,2種類の補完情報を分離し,弱いラベルから学習する手法を提案する。
我々のモデルは最先端技術と競合し、新しい最高の平均性能をもたらす。
論文 参考訳(メタデータ) (2022-10-25T10:33:45Z) - Leveraging Instance Features for Label Aggregation in Programmatic Weak
Supervision [75.1860418333995]
Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。
PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。
既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
論文 参考訳(メタデータ) (2022-10-06T07:28:53Z) - Towards Harnessing Feature Embedding for Robust Learning with Noisy
Labels [44.133307197696446]
ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。
ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
論文 参考訳(メタデータ) (2022-06-27T02:45:09Z) - Contrastive Test-Time Adaptation [83.73506803142693]
本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。
擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。
我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-04-21T19:17:22Z) - S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
本稿では,ラベルノイズの存在下での分類の問題に対処する。
提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。
提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
論文 参考訳(メタデータ) (2021-11-22T15:49:20Z) - Why Propagate Alone? Parallel Use of Labels and Features on Graphs [42.01561812621306]
グラフニューラルネットワーク(GNN)とラベル伝搬は、ノード特性予測などのタスクにおいてグラフ構造を利用するように設計された2つの相互関連モデリング戦略を表す。
ラベルのトリックを2つの要因からなる解釈可能な決定論的学習目標に還元できることを示す。
論文 参考訳(メタデータ) (2021-10-14T07:34:11Z) - Conditional independence for pretext task selection in Self-supervised
speech representation learning [23.39079406674442]
自己教師付き学習(ssl)はラベルのないデータを利用して、下流タスクの従来の入力機能を置き換える有用な潜在表現を抽出する。
一般的なプリテキストタスクは、元の信号から派生した擬似ラベル上でSSLモデルを事前訓練することである。
本稿では,与えられた下流タスクに関連のある擬似ラベルを選択するための実用的かつ理論的フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-15T11:32:59Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳(メタデータ) (2020-10-07T22:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。