論文の概要: On the long-term learning ability of LSTM LMs
- arxiv url: http://arxiv.org/abs/2106.08927v1
- Date: Wed, 16 Jun 2021 16:34:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:42:52.978154
- Title: On the long-term learning ability of LSTM LMs
- Title(参考訳): LSTM LMの長期学習能力について
- Authors: Wim Boes, Robbe Van Rompaey, Lyan Verwimp, Joris Pelemans, Hugo Van
hamme, Patrick Wambacq
- Abstract要約: 本研究では,文レベルおよび談話レベルのLSTM LMに対して,CBOWモデルに基づく文脈拡張を評価する。
長期的文脈モジュールを用いた文レベルモデルは、バニラ談話レベルLSTM LMと同等に動作する。
一方、この拡張は談話レベルのモデルに対して利得を提供しない。
- 参考スコア(独自算出の注目度): 17.700860670640015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We inspect the long-term learning ability of Long Short-Term Memory language
models (LSTM LMs) by evaluating a contextual extension based on the Continuous
Bag-of-Words (CBOW) model for both sentence- and discourse-level LSTM LMs and
by analyzing its performance. We evaluate on text and speech. Sentence-level
models using the long-term contextual module perform comparably to vanilla
discourse-level LSTM LMs. On the other hand, the extension does not provide
gains for discourse-level models. These findings indicate that discourse-level
LSTM LMs already rely on contextual information to perform long-term learning.
- Abstract(参考訳): 文と談話レベルのlstm lmsの連続的バガ・オブ・ワード(cbow)モデルに基づく文脈拡張の評価と、その性能分析により、長期短期記憶言語モデル(lstm lms)の長期学習能力を検証した。
私たちはテキストと音声で評価する。
長期的文脈モジュールを用いた文レベルモデルは、バニラ談話レベルLSTM LMと同等に動作する。
一方、この拡張は談話レベルのモデルに対して利得を提供しない。
これらの結果から,言論レベルのLSTM LMは長期学習にコンテキスト情報に既に依存していることが示唆された。
関連論文リスト
- Found in the Middle: How Language Models Use Long Contexts Better via
Plug-and-Play Positional Encoding [78.36702055076456]
本稿では,マルチスケール位置決めについて紹介する。
(Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。
LLMはコンテキストの中央に位置する関連情報を扱う。
論文 参考訳(メタデータ) (2024-03-05T04:58:37Z) - Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。
大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。
英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文 参考訳(メタデータ) (2023-12-21T05:32:49Z) - BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling
Capacities of Large Language Models [151.503051479077]
大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。
マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。
5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
論文 参考訳(メタデータ) (2023-09-23T11:36:15Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - L-Eval: Instituting Standardized Evaluation for Long Context Language
Models [91.05820785008527]
長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。
20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。
その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
論文 参考訳(メタデータ) (2023-07-20T17:59:41Z) - Deep Learning Approaches to Lexical Simplification: A Survey [19.079916794185642]
レキシカルシンプリフィケーション(Lexical Simplification、LS)は、複合語を文中の単純な単語に置き換える作業である。
LS は Text Simplification (TS) の語彙的構成要素である
近年のディープラーニングの進歩は、LSに新たな関心を喚起している。
論文 参考訳(メタデータ) (2023-05-19T20:56:22Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Future Vector Enhanced LSTM Language Model for LVCSR [67.03726018635174]
本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。
実験の結果,提案したLSTM LMはBLEUスコアよりも長期のシーケンス予測に有効であることがわかった。
新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
論文 参考訳(メタデータ) (2020-07-31T08:38:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。