Fugu-MT 論文翻訳(概要): Reducing Sequence Length Learning Impacts on Transformer Models

論文の概要: Reducing Sequence Length Learning Impacts on Transformer Models

arxiv url: http://arxiv.org/abs/2212.08399v1
Date: Fri, 16 Dec 2022 10:46:20 GMT
ステータス: 処理完了
システム内更新日: 2022-12-19 16:06:38.034730
Title: Reducing Sequence Length Learning Impacts on Transformer Models
Title（参考訳）: トランスフォーマーモデルにおけるシーケンス長学習の影響の低減
Authors: Jean-Thomas Baillargeon, Luc Lamontagne
Abstract要約: 分類アルゴリズムは、異なるクラスからの観察が異なる長さ分布を持つ場合、シーケンス長学習問題の影響を受け得る。この問題は、重要なテキスト情報に頼るのではなく、シーケンス長を予測機能として使用するモデルをもたらす。本稿では,この問題を実証的に明らかにし,その影響を最小限に抑えるためのアプローチを提案する。
参考スコア（独自算出の注目度）: 0.10152838128195464
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Classification algorithms using Transformer architectures can be affected by the sequence length learning problem whenever observations from different classes have a different length distribution. This problem brings models to use sequence length as a predictive feature instead of relying on important textual information. Even if most public datasets are not affected by this problem, privately corpora for fields such as medicine and insurance may carry this data bias. This poses challenges throughout the value chain given their usage in a machine learning application. In this paper, we empirically expose this problem and present approaches to minimize its impacts.
Abstract（参考訳）: Transformerアーキテクチャを用いた分類アルゴリズムは、異なるクラスからの観測が異なる長さ分布を持つ場合、シーケンス長学習問題の影響を受け得る。この問題は、重要なテキスト情報に頼るのではなく、予測機能としてシーケンス長を使用するモデルをもたらす。ほとんどの公開データセットがこの問題の影響を受けていないとしても、医療や保険などの分野のプライベートコーパスはこのデータバイアスを負う可能性がある。これは、機械学習アプリケーションでの使用を考えると、バリューチェーン全体の課題を引き起こす。本稿では,この問題を経験的に明らかにし,その影響を最小限にする手法を提案する。

関連論文リスト

KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing [0.0]
KT(Knowledge Tracing)は、知的学習システムにおける学習項目の将来のパフォーマンスを予測することを目的としている。多くのKTモデルは、学習項目をその構成するKCに置き換えることで、アイテムと学生の相互作用のシーケンスをKC-学生の相互作用へと拡張する。提案手法は,スパースアイテム-学生間相互作用とモデルパラメータの最小化の問題に対処する。
論文参考訳（メタデータ） (2024-03-22T15:54:30Z)
Preventing RNN from Using Sequence Length as a Feature [0.08594140167290096]
リカレントニューラルネットワークは、長いドキュメントを分類するためにトレーニングできるディープラーニングトポロジである。しかし、異なるクラスのテキスト間の長さの違いを顕著な分類機能として利用することができる。これは、コンセプトドリフトに対して脆弱で脆弱なモデルを作成し、誤解を招くパフォーマンスを提供し、テキストの内容に関係なく自明に説明可能なモデルを作成する効果がある。
論文参考訳（メタデータ） (2022-12-16T04:23:36Z)
Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文参考訳（メタデータ） (2022-11-28T17:36:41Z)
Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文参考訳（メタデータ） (2022-09-29T18:11:01Z)
Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文参考訳（メタデータ） (2022-05-25T17:37:08Z)
Determination of class-specific variables in nonparametric multiple-class classification [0.0]
確率に基づく非パラメトリックな多重クラス分類法を提案し、それを個々のクラスに対して高い影響変数を識別する能力と統合する。提案手法の特性を報告し, 合成データと実データの両方を用いて, 異なる分類条件下での特性を説明する。
論文参考訳（メタデータ） (2022-05-07T10:08:58Z)
ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer [0.0]
オリジナルトランスフォーマーベースのモデルは、シーケンスに沿ったグローバル情報を検出するためのアテンションメカニズムを採用している。 ChunkFormerは、長いシーケンスを注意計算のために小さなシーケンスチャンクに分割する。このようにして、提案モデルは、入力シーケンスの総長を変更することなく、局所情報と大域情報の両方を徐々に学習する。
論文参考訳（メタデータ） (2021-12-30T15:06:32Z)
Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文参考訳（メタデータ） (2021-10-31T16:15:09Z)
Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
ラプラシア正規化の欠点を克服するための統計的解析を提供する。望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
論文参考訳（メタデータ） (2020-09-09T14:28:54Z)
Learning Causal Models Online [103.87959747047158]
予測モデルは、予測を行うためにデータの急激な相関に依存することができる。強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-12T20:49:20Z)
Multi-label Prediction in Time Series Data using Deep Neural Networks [19.950094635430048]
本稿では,多次元時系列データに対するマルチラベル予測故障分類問題に対処する。提案アルゴリズムは2つの公開ベンチマークデータセットで検証される。
論文参考訳（メタデータ） (2020-01-27T21:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。