Fugu-MT 論文翻訳(概要): On the long-term learning ability of LSTM LMs

論文の概要: On the long-term learning ability of LSTM LMs

arxiv url: http://arxiv.org/abs/2106.08927v1
Date: Wed, 16 Jun 2021 16:34:37 GMT
ステータス: 処理完了
システム内更新日: 2021-06-17 17:42:52.978154
Title: On the long-term learning ability of LSTM LMs
Title（参考訳）: LSTM LMの長期学習能力について
Authors: Wim Boes, Robbe Van Rompaey, Lyan Verwimp, Joris Pelemans, Hugo Van hamme, Patrick Wambacq
Abstract要約: 本研究では,文レベルおよび談話レベルのLSTM LMに対して,CBOWモデルに基づく文脈拡張を評価する。長期的文脈モジュールを用いた文レベルモデルは、バニラ談話レベルLSTM LMと同等に動作する。一方、この拡張は談話レベルのモデルに対して利得を提供しない。
参考スコア（独自算出の注目度）: 17.700860670640015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We inspect the long-term learning ability of Long Short-Term Memory language models (LSTM LMs) by evaluating a contextual extension based on the Continuous Bag-of-Words (CBOW) model for both sentence- and discourse-level LSTM LMs and by analyzing its performance. We evaluate on text and speech. Sentence-level models using the long-term contextual module perform comparably to vanilla discourse-level LSTM LMs. On the other hand, the extension does not provide gains for discourse-level models. These findings indicate that discourse-level LSTM LMs already rely on contextual information to perform long-term learning.
Abstract（参考訳）: 文と談話レベルのlstm lmsの連続的バガ・オブ・ワード(cbow)モデルに基づく文脈拡張の評価と、その性能分析により、長期短期記憶言語モデル(lstm lms)の長期学習能力を検証した。私たちはテキストと音声で評価する。長期的文脈モジュールを用いた文レベルモデルは、バニラ談話レベルLSTM LMと同等に動作する。一方、この拡張は談話レベルのモデルに対して利得を提供しない。これらの結果から,言論レベルのLSTM LMは長期学習にコンテキスト情報に既に依存していることが示唆された。

関連論文リスト

LIFBench: Evaluating the Instruction Following Performance and Stability of Large Language Models in Long-Context Scenarios [16.72802527902692]
本稿では,Long-context Instruction-Following Benchmark (LIFBench)を紹介する。 LIFBenchは3つの長文シナリオと11の多様なタスクから構成されており、長さ、式、変数の3次元にわたる自動拡張メソッドによって生成される2,766の命令でサポートされている。評価のために,LLM支援評価や人的判断に頼ることなく,複雑なLCM応答の正確な自動スコアリングを提供するルーリックベースの評価フレームワークLIFEvalを提案する。
論文参考訳（メタデータ） (2024-11-11T14:43:51Z)
Efficiently Exploring Large Language Models for Document-Level Machine Translation with In-context Learning [38.89119606657543]
文レベルの翻訳とは対照的に、文脈内学習に基づく大規模言語モデル(LLM)による文書レベルの翻訳(DOCMT)は2つの大きな課題に直面している。本研究では,文脈認識型プロンプト法(CAP)を提案する。様々なDOCMTタスクに対して広範な実験を行い,本手法の有効性を実証した。
論文参考訳（メタデータ） (2024-06-11T09:11:17Z)
LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-06-02T03:34:41Z)
Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
論文参考訳（メタデータ） (2024-04-09T17:30:48Z)
Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文参考訳（メタデータ） (2023-10-17T03:21:43Z)
BAMBOO: A Comprehensive Benchmark for Evaluating Long Text Modeling Capacities of Large Language Models [141.21603469555225]
大規模言語モデル(LLM)は、通常の長さのNLPタスクよりも劇的な熟練を実現している。マルチタスク長コンテキストベンチマークであるBAMBOOを提案する。 5つの異なる長いテキスト理解タスクから10のデータセットで構成されている。
論文参考訳（メタデータ） (2023-09-23T11:36:15Z)
L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
論文参考訳（メタデータ） (2023-07-20T17:59:41Z)
Deep Learning Approaches to Lexical Simplification: A Survey [19.079916794185642]
レキシカルシンプリフィケーション(Lexical Simplification、LS)は、複合語を文中の単純な単語に置き換える作業である。 LS は Text Simplification (TS) の語彙的構成要素である近年のディープラーニングの進歩は、LSに新たな関心を喚起している。
論文参考訳（メタデータ） (2023-05-19T20:56:22Z)
Future Vector Enhanced LSTM Language Model for LVCSR [67.03726018635174]
本稿では,将来ベクトルを用いた拡張長短期メモリ(LSTM)LMを提案する。実験の結果,提案したLSTM LMはBLEUスコアよりも長期のシーケンス予測に有効であることがわかった。新たなLSTM LMと従来のLSTM LMを併用することで,単語誤り率を大幅に向上させることができる。
論文参考訳（メタデータ） (2020-07-31T08:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。