論文の概要: Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction

• arxiv url: http://arxiv.org/abs/2303.02468v3
• Date: Mon, 24 Apr 2023 17:50:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 20:49:51.248711
• Title: Lon-ea at SemEval-2023 Task 11: A Comparison of Activation Functions for Soft and Hard Label Prediction
• Title（参考訳）: SemEval-2023タスク11におけるLon-ea:ソフトおよびハードラベル予測のための活性化関数の比較
• Authors: Peyman Hosseini, Mehran Hosseini, Sana Sabah Al-Azzawi, Marcus Liwicki, Ignacio Castro, Matthew Purver
• Abstract要約: 深層ニューラルネットワークモデルの出力層における異なる活性化関数の影響について検討する。 目標は、ソフトラベルを予測することで、不一致の量を定量化することです。
• 参考スコア（独自算出の注目度）: 4.102428477799723
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study the influence of different activation functions in the output layer of deep neural network models for soft and hard label prediction in the learning with disagreement task. In this task, the goal is to quantify the amount of disagreement via predicting soft labels. To predict the soft labels, we use BERT-based preprocessors and encoders and vary the activation function used in the output layer, while keeping other parameters constant. The soft labels are then used for the hard label prediction. The activation functions considered are sigmoid as well as a step-function that is added to the model post-training and a sinusoidal activation function, which is introduced for the first time in this paper.
• Abstract（参考訳）: 深層ニューラルネットワークモデルの出力層における異なるアクティベーション関数の影響について,不一致タスクの学習におけるソフトラベルとハードラベルの予測について検討した。 このタスクでは、ソフトラベルの予測を通じて不一致の量を定量化することが目標です。 ソフトラベルの予測にはbertベースのプリプロセッサとエンコーダを使用し、他のパラメータを一定に保ちながら出力層で使用されるアクティベーション関数を変化させる。 ソフトラベルはハードラベル予測に使用される。 検討した活性化関数はsgmoidであり、トレーニング後のモデルに追加されるステップ関数と、本論文で初めて導入された正弦波活性化関数である。

関連論文リスト

• FADE: A Task-Agnostic Upsampling Operator for Encoder-Decoder Architectures [18.17019371324024]
  FADEは、新しくて、プラグアンドプレイで、軽量で、タスクに依存しないアップサンプリングオペレータである。 FADEはタスク非依存であり,多くの密集予測タスクにおいて一貫した性能向上を示す。 リージョンとディテールに敏感なタスクの両方で,ロバストな機能アップサンプリングを初めて実施しました。
  論文  参考訳（メタデータ） (2024-07-18T13:32:36Z)
• Designed Dithering Sign Activation for Binary Neural Networks [15.087814338685968]
  本研究は,複数の閾値をディザリングの原理に従って適用し,空間的に周期的なしきい値カーネルに従って各画素の符号活性化関数をシフトするアクティベーションを提案する。 分類タスクに関する実験は、計算コストを増大させることなく、バイナリニューラルネットワークの代替活性化として設計されたディザリングサイン活性化関数の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:27:39Z)
• Efficient Test-Time Adaptation of Vision-Language Models [58.3646257833533]
  事前学習された視覚言語モデルによるテスト時間適応は、テスト時間中に分散シフトに取り組むことに注目が集まっている。 我々は、視覚言語モデルによる効率的なテスト時間適応を可能にするトレーニングフリーな動的アダプタであるTDAを設計する。
  論文  参考訳（メタデータ） (2024-03-27T06:37:51Z)
• Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition [49.42732949233184]
  ラベル付きデータが不十分な場合、擬似ラベル技術による半教師付き学習は自動音声認識の性能を大幅に向上させることができる。 損失関数のグラウンドトルースとしてノイズラベルを取ると、最適以下の性能が得られる。 そこで我々は,ノイズの多い擬似ラベル問題に対処するために,代替擬似ラベル方式という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-12T12:13:52Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• SepLL: Separating Latent Class Labels from Weak Supervision Noise [4.730767228515796]
  弱い教師付き学習では、ラベル付け機能は自動的にデータサンプルにラベルを割り当て、しばしばうるさい。 本研究では,2種類の補完情報を分離し,弱いラベルから学習する手法を提案する。 我々のモデルは最先端技術と競合し、新しい最高の平均性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-25T10:33:45Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Contrastive Test-Time Adaptation [83.73506803142693]
  本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。 擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。 我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-04-21T19:17:22Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• Why Propagate Alone? Parallel Use of Labels and Features on Graphs [42.01561812621306]
  グラフニューラルネットワーク(GNN)とラベル伝搬は、ノード特性予測などのタスクにおいてグラフ構造を利用するように設計された2つの相互関連モデリング戦略を表す。 ラベルのトリックを2つの要因からなる解釈可能な決定論的学習目標に還元できることを示す。
  論文  参考訳（メタデータ） (2021-10-14T07:34:11Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。