Fugu-MT 論文翻訳(概要): Preventing RNN from Using Sequence Length as a Feature

論文の概要: Preventing RNN from Using Sequence Length as a Feature

arxiv url: http://arxiv.org/abs/2212.08276v1
Date: Fri, 16 Dec 2022 04:23:36 GMT
ステータス: 処理完了
システム内更新日: 2022-12-19 15:56:10.337418
Title: Preventing RNN from Using Sequence Length as a Feature
Title（参考訳）: シーケンス長を特徴とするRNNの防止
Authors: Jean-Thomas Baillargeon, H\'el\`ene Cossette, Luc Lamontagne
Abstract要約: リカレントニューラルネットワークは、長いドキュメントを分類するためにトレーニングできるディープラーニングトポロジである。しかし、異なるクラスのテキスト間の長さの違いを顕著な分類機能として利用することができる。これは、コンセプトドリフトに対して脆弱で脆弱なモデルを作成し、誤解を招くパフォーマンスを提供し、テキストの内容に関係なく自明に説明可能なモデルを作成する効果がある。
参考スコア（独自算出の注目度）: 0.08594140167290096
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recurrent neural networks are deep learning topologies that can be trained to classify long documents. However, in our recent work, we found a critical problem with these cells: they can use the length differences between texts of different classes as a prominent classification feature. This has the effect of producing models that are brittle and fragile to concept drift, can provide misleading performances and are trivially explainable regardless of text content. This paper illustrates the problem using synthetic and real-world data and provides a simple solution using weight decay regularization.
Abstract（参考訳）: リカレントニューラルネットワークは、長いドキュメントを分類するためにトレーニングできるディープラーニングトポロジである。しかし、最近の研究では、これらの細胞が抱える重要な問題として、異なるクラスのテキスト間の長さ差を顕著な分類特徴として利用することができることが挙げられる。これは、不安定でコンセプトドリフトに脆弱なモデルを作成し、誤解を招くパフォーマンスを提供し、テキストの内容に関係なく簡単に説明できるという効果がある。本稿では, 合成および実世界のデータを用いた問題を説明し, 重み減衰正則化を用いた簡単な解を提供する。

関連論文リスト

Multi-label Text Classification using GloVe and Neural Network Models [0.27195102129094995]
既存のソリューションには、予測のための従来の機械学習とディープニューラルネットワークが含まれる。本稿では,GloVe モデルと CNN-BiLSTM ネットワークに基づくback-of-words モデル手法を提案する。テストセットの精度は87.26%、F1スコアは0.8737であり、有望な結果を示している。
論文参考訳（メタデータ） (2023-10-25T01:30:26Z)
Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
トレーニング手法の深層ネットワーク性能への影響について検討する。本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-06-09T10:52:49Z)
Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models [0.030693357740321774]
分類アルゴリズムは、異なるクラスからの観察が異なる長さ分布を持つ場合、シーケンス長学習問題の影響を受け得る。この問題は、重要なテキスト情報に頼るのではなく、シーケンス長を予測機能として使用するモデルを引き起こす。ほとんどの公開データセットはこの問題の影響を受けていないが、医療や保険などの分野で個人所有のコーパスがこのデータバイアスを負う可能性がある。
論文参考訳（メタデータ） (2022-12-16T10:46:20Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
論文参考訳（メタデータ） (2021-08-16T13:33:15Z)
Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
論文参考訳（メタデータ） (2021-05-11T08:15:25Z)
Recurrence-free unconstrained handwritten text recognition using gated fully convolutional network [2.277447144331876]
制約のない手書きテキスト認識は、ほとんどのドキュメント分析タスクの主要なステップです。 LSTM細胞を使用する別の方法の1つは、畳み込み層を多用して長期記憶損失を補うことである。我々は、よく知られたCNN+LSTMアーキテクチャの再発のない代替であるGated Fully Convolutional Networkアーキテクチャを紹介します。
論文参考訳（メタデータ） (2020-12-09T10:30:13Z)
Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文参考訳（メタデータ） (2020-11-01T00:21:59Z)
FIND: Human-in-the-Loop Debugging Deep Text Classifiers [55.135620983922564]
隠れた機能を無効にすることで、人間がディープラーニングテキスト分類器をデバッグできるフレームワークであるFINDを提案する。実験により、人間はFINDを使用することで、異なる種類の不完全なデータセットの下で訓練されたCNNテキスト分類器を改善することができる。
論文参考訳（メタデータ） (2020-10-10T12:52:53Z)
Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文参考訳（メタデータ） (2020-07-01T04:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。