論文の概要: Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models

• arxiv url: http://arxiv.org/abs/2212.08399v2
• Date: Thu, 14 Mar 2024 16:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 03:12:58.569593
• Title: Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models
• Title（参考訳）: 変圧器エンコーダモデルの分類課題に対する系列長学習の影響評価
• Authors: Jean-Thomas Baillargeon, Luc Lamontagne,
• Abstract要約: 分類アルゴリズムは、異なるクラスからの観察が異なる長さ分布を持つ場合、シーケンス長学習問題の影響を受け得る。 この問題は、重要なテキスト情報に頼るのではなく、シーケンス長を予測機能として使用するモデルを引き起こす。 ほとんどの公開データセットはこの問題の影響を受けていないが、医療や保険などの分野で個人所有のコーパスがこのデータバイアスを負う可能性がある。
• 参考スコア（独自算出の注目度）: 0.030693357740321774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classification algorithms using Transformer architectures can be affected by the sequence length learning problem whenever observations from different classes have a different length distribution. This problem causes models to use sequence length as a predictive feature instead of relying on important textual information. Although most public datasets are not affected by this problem, privately owned corpora for fields such as medicine and insurance may carry this data bias. The exploitation of this sequence length feature poses challenges throughout the value chain as these machine learning models can be used in critical applications. In this paper, we empirically expose this problem and present approaches to minimize its impacts.
• Abstract（参考訳）: Transformerアーキテクチャを用いた分類アルゴリズムは、異なるクラスからの観測が異なる長さ分布を持つ場合、シーケンス長学習問題の影響を受け得る。 この問題は、重要なテキスト情報に頼るのではなく、シーケンス長を予測機能として使用するモデルを引き起こす。 ほとんどの公開データセットはこの問題の影響を受けていないが、医療や保険などの分野で個人所有のコーパスがこのデータバイアスを負う可能性がある。 このシーケンス長機能の利用は、これらの機械学習モデルがクリティカルなアプリケーションで使用できるため、バリューチェーン全体の課題を引き起こします。 本稿では,この問題を実証的に明らかにし,その影響を最小限に抑えるためのアプローチを提案する。

関連論文リスト

• KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing [0.0]
  KT(Knowledge Tracing)は、知的学習システムにおける学習項目の将来のパフォーマンスを予測することを目的としている。 多くのKTモデルは、学習項目をその構成するKCに置き換えることで、アイテムと学生の相互作用のシーケンスをKC-学生の相互作用へと拡張する。 提案手法は,スパースアイテム-学生間相互作用とモデルパラメータの最小化の問題に対処する。
  論文  参考訳（メタデータ） (2024-03-22T15:54:30Z)
• Preventing RNN from Using Sequence Length as a Feature [0.08594140167290096]
  リカレントニューラルネットワークは、長いドキュメントを分類するためにトレーニングできるディープラーニングトポロジである。 しかし、異なるクラスのテキスト間の長さの違いを顕著な分類機能として利用することができる。 これは、コンセプトドリフトに対して脆弱で脆弱なモデルを作成し、誤解を招くパフォーマンスを提供し、テキストの内容に関係なく自明に説明可能なモデルを作成する効果がある。
  論文  参考訳（メタデータ） (2022-12-16T04:23:36Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Determination of class-specific variables in nonparametric multiple-class classification [0.0]
  確率に基づく非パラメトリックな多重クラス分類法を提案し、それを個々のクラスに対して高い影響変数を識別する能力と統合する。 提案手法の特性を報告し, 合成データと実データの両方を用いて, 異なる分類条件下での特性を説明する。
  論文  参考訳（メタデータ） (2022-05-07T10:08:58Z)
• ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer [0.0]
  オリジナルトランスフォーマーベースのモデルは、シーケンスに沿ったグローバル情報を検出するためのアテンションメカニズムを採用している。 ChunkFormerは、長いシーケンスを注意計算のために小さなシーケンスチャンクに分割する。 このようにして、提案モデルは、入力シーケンスの総長を変更することなく、局所情報と大域情報の両方を徐々に学習する。
  論文  参考訳（メタデータ） (2021-12-30T15:06:32Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)
• Multi-label Prediction in Time Series Data using Deep Neural Networks [19.950094635430048]
  本稿では,多次元時系列データに対するマルチラベル予測故障分類問題に対処する。 提案アルゴリズムは2つの公開ベンチマークデータセットで検証される。
  論文  参考訳（メタデータ） (2020-01-27T21:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。