論文の概要: Transient Chaos in BERT

• arxiv url: http://arxiv.org/abs/2106.03181v2
• Date: Wed, 9 Jun 2021 02:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-13 11:22:35.103723
• Title: Transient Chaos in BERT
• Title（参考訳）: BERTにおける過渡カオス
• Authors: Katsuma Inoue, Soh Ohara, Yasuo Kuniyoshi, and Kohei Nakajima
• Abstract要約: 変換器による双方向表現(BERT)は、最近、いくつかのNLPベンチマークで最先端のスコアを確立することで人気を集めている。 Lite BERT (ALBERT) は、文字通りBERTの軽量バージョンとして特徴付けられ、BERTパラメータの数が減少する。 本研究では,ALBERTの組込み特性について検討し,NLPタスクの動的利用による効果的解法を明らかにする。
• 参考スコア（独自算出の注目度）: 2.3886615435250302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language is an outcome of our complex and dynamic human-interactions and the technique of natural language processing (NLP) is hence built on human linguistic activities. Bidirectional Encoder Representations from Transformers (BERT) has recently gained its popularity by establishing the state-of-the-art scores in several NLP benchmarks. A Lite BERT (ALBERT) is literally characterized as a lightweight version of BERT, in which the number of BERT parameters is reduced by repeatedly applying the same neural network called Transformer's encoder layer. By pre-training the parameters with a massive amount of natural language data, ALBERT can convert input sentences into versatile high-dimensional vectors potentially capable of solving multiple NLP tasks. In that sense, ALBERT can be regarded as a well-designed high-dimensional dynamical system whose operator is the Transformer's encoder, and essential structures of human language are thus expected to be encapsulated in its dynamics. In this study, we investigated the embedded properties of ALBERT to reveal how NLP tasks are effectively solved by exploiting its dynamics. We thereby aimed to explore the nature of human language from the dynamical expressions of the NLP model. Our short-term analysis clarified that the pre-trained model stably yields trajectories with higher dimensionality, which would enhance the expressive capacity required for NLP tasks. Also, our long-term analysis revealed that ALBERT intrinsically shows transient chaos, a typical nonlinear phenomenon showing chaotic dynamics only in its transient, and the pre-trained ALBERT model tends to produce the chaotic trajectory for a significantly longer time period compared to a randomly-initialized one. Our results imply that local chaoticity would contribute to improving NLP performance, uncovering a novel aspect in the role of chaotic dynamics in human language behaviors.
• Abstract（参考訳）: 言語は複雑で動的な人間の相互作用の結果であり、自然言語処理(NLP)の技術は人間の言語活動に基づいて構築される。 Bidirectional Encoder Representations from Transformers (BERT)は、最近、いくつかのNLPベンチマークで最先端のスコアを確立することで人気を博している。 Lite BERT(ALBERT)は、文字通りBERTの軽量版として特徴付けられ、Transformerのエンコーダ層と呼ばれる同じニューラルネットワークを繰り返し適用することでBERTパラメータの数を削減できる。 パラメータを大量の自然言語データで事前学習することにより、ALBERTは入力文を多目的な高次元ベクトルに変換し、複数のNLPタスクを解くことができる。 その意味では、アルバートはトランスフォーマーのエンコーダであるようなよく設計された高次元力学系と見なすことができ、したがって人間の言語の本質的な構造はその力学にカプセル化されることが期待される。 本研究では,ALBERTの組込み特性について検討し,NLPタスクの動的利用による効果的解法を明らかにする。 そこで我々は,NLPモデルの動的表現から人間の言語の性質を探究することを目的とした。 我々の短期分析により, 事前学習モデルでは, NLPタスクに必要な表現能力を高めるために, 高次元の軌道が安定的に得られることが明らかとなった。 また, 経時的カオスを内在的に示し, 経時的カオスのみを呈する典型的な非線形現象であり, 事前学習したALBERTモデルでは, ランダムに初期化したモデルに比べて, カオス軌道がかなり長い傾向が見られた。 その結果,局所的カオス性はnlp性能の向上に寄与し,人間の言語行動におけるカオスダイナミクスの役割における新たな側面を明らかにすることができた。

関連論文リスト

• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Revisiting Simple Neural Probabilistic Language Models [27.957834093475686]
  本稿では,Bengio2003ANPの神経確率言語モデル(NPLM)を再検討する。 現代のハードウェアにスケールアップすると、このモデルは単語レベルの言語モデルのベンチマークで期待以上にパフォーマンスが向上する。 この結果に触発され、最初の自己保持層をNPLMの局所連結層に置き換えることでトランスフォーマーを変更した。
  論文  参考訳（メタデータ） (2021-04-08T02:18:47Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Certified Robustness to Programmable Transformations in LSTMs [14.587069421684157]
  自然言語処理のためのディープニューラルネットワークは、逆の例に直面して脆弱である。 本稿では,LSTMを効率よく検証可能な拡張LSTMの認証手法を提案する。
  論文  参考訳（メタデータ） (2021-02-15T19:54:59Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)
• Exploring Neural Models for Parsing Natural Language into First-Order Logic [10.62143644603835]
  英文を1次論理(FOL)に解析する際のニューラルモデルの有用性について検討する。 自然言語文が与えられた場合のシーケンスマッピングタスクとしてFOL解析をモデル化し、LSTMを用いて中間表現に符号化し、次に対応するFOL式で述語を逐次生成するデコーダを用いる。
  論文  参考訳（メタデータ） (2020-02-16T09:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。