論文の概要: Pruning and Sparsemax Methods for Hierarchical Attention Networks

• arxiv url: http://arxiv.org/abs/2004.04343v1
• Date: Wed, 8 Apr 2020 17:56:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 08:09:17.168083
• Title: Pruning and Sparsemax Methods for Hierarchical Attention Networks
• Title（参考訳）: 階層型アテンションネットワークにおけるpruningとsparsemax法
• Authors: Jo\~ao G. Ribeiro, Frederico S. Felisberto and Isabel C. Neto
• Abstract要約: 本稿では,2つの新しい階層型注意ネットワークモデルを紹介し,評価する。 感情分析データセットのIMDBレビューにおける実証的評価は、両方のアプローチが、現在の最先端技術による結果と一致することを示すものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces and evaluates two novel Hierarchical Attention Network models [Yang et al., 2016] - i) Hierarchical Pruned Attention Networks, which remove the irrelevant words and sentences from the classification process in order to reduce potential noise in the document classification accuracy and ii) Hierarchical Sparsemax Attention Networks, which replace the Softmax function used in the attention mechanism with the Sparsemax [Martins and Astudillo, 2016], capable of better handling importance distributions where a lot of words or sentences have very low probabilities. Our empirical evaluation on the IMDB Review for sentiment analysis datasets shows both approaches to be able to match the results obtained by the current state-of-the-art (without, however, any significant benefits). All our source code is made available athttps://github.com/jmribeiro/dsl-project.
• Abstract（参考訳）: 本稿では,2つの新しい階層型注意ネットワークモデル [Yang et al., 2016] を紹介し,評価する。 一 文書分類精度及び文書分類精度の潜在的な騒音を低減するため、分類過程から無関係な単語及び文を除去する階層的計画意図ネットワーク 二) アテンション機構において用いられるソフトマックス関数をスパースマックス(martins and astudillo, 2016)に置き換える階層的スパースマックスアテンションネットワークは、多くの単語又は文が非常に低い確率を持つ重要度分布をよりうまく扱うことができる。 感情分析データセットのIMDBレビューにおける実証的な評価は、両者のアプローチが現在の最先端技術による結果と一致できることを示している(ただし、大きなメリットはない)。 ソースコードはすべて、https://github.com/jmribeiro/dsl-projectで利用可能です。

関連論文リスト

• ChaosMining: A Benchmark to Evaluate Post-Hoc Local Attribution Methods in Low SNR Environments [14.284728947052743]
  本研究では,低信号-雑音比(SNR)を特徴とする領域において,非関連領域から予測力のある特徴を識別するためのポストホック局所帰属法の有効性を検討する。 我々の実験では、スケーラビリティの制限とともに、予測と特徴選択の長所を強調しています。
  論文  参考訳（メタデータ） (2024-06-17T23:39:29Z)
• LAA-Net: Localized Artifact Attention Network for Quality-Agnostic and Generalizable Deepfake Detection [12.567069964305265]
  本稿では,LAA-Net(Localized Artifact Attention Network)と呼ばれる高品質なディープフェイク検出手法を提案する。 高品質なディープフェイク検出のための既存の方法は、主に暗黙の注意機構を備えた教師付きバイナリ分類器に基づいている。 いくつかのベンチマークで行った実験は、AUC(Area Under the Curve)とAP(Average Precision)の観点から、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2024-01-24T23:42:08Z)
• Revisiting the Architectures like Pointer Networks to Efficiently Improve the Next Word Distribution, Summarization Factuality, and Beyond [37.96043934146189]
  本稿では,ポインタネットワークを簡素化し,単語ごとのリランカを高速化することで,いくつかのソフトマックス代替案を提案する。 GPT-2では,提案手法はソフトマックスの混合よりも有意に効率的かつ効率的である。 T5-Smallに基づく最良の方法は、CNN/DMおよびXSUMデータセットにおいてファクトCCスコアを2ポイント改善し、ブックサム段落レベルのデータセットではMAUVEスコアを30%改善する。
  論文  参考訳（メタデータ） (2023-05-20T21:52:24Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• A Systematic Evaluation of Node Embedding Robustness [77.29026280120277]
  本研究では,ノード埋め込みモデルのランダムおよび逆毒攻撃に対する経験的ロバスト性を評価する。 ネットワーク特性とノードラベルを用いて計算したエッジの追加,削除,再切り替えの戦略を比較した。 その結果,ノード分類はネットワーク再構成とは対照的に,高い性能劣化に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2022-09-16T17:20:23Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Regularized Densely-connected Pyramid Network for Salient Instance Segmentation [73.17802158095813]
  我々は、エンドツーエンドの有能なインスタンスセグメンテーション(SIS)のための新しいパイプラインを提案する。 ディープネットワークにおけるリッチな特徴階層をよりよく活用するために、正規化された高密度接続を提案する。 マスク予測を改善するために,新しいマルチレベルRoIAlignベースのデコーダを導入し,多レベル特徴を適応的に集約する。
  論文  参考訳（メタデータ） (2020-08-28T00:13:30Z)
• Probabilistic Object Classification using CNN ML-MAP layers [0.0]
  ネットワークのLogit層で計算された分布に基づくCNN確率的手法を提案する。 この新しいアプローチは、SoftMaxと比較して有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-05-29T13:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。