Fugu-MT 論文翻訳(概要): Evaluating Discourse Cohesion in Pre-trained Language Models

論文の概要: Evaluating Discourse Cohesion in Pre-trained Language Models

arxiv url: http://arxiv.org/abs/2503.06137v1
Date: Sat, 08 Mar 2025 09:19:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 15:50:05.015892
Title: Evaluating Discourse Cohesion in Pre-trained Language Models
Title（参考訳）: 事前学習型言語モデルにおける談話結合の評価
Authors: Jie He, Wanqiu Long, Deyi Xiong,
Abstract要約: 本稿では,事前学習した言語モデルの凝集度を評価するテストスイートを提案する。テストスイートは、隣接文と非隣接文との間に複数の凝集現象を含む。
参考スコア（独自算出の注目度）: 42.63411207004852
License:
Abstract: Large pre-trained neural models have achieved remarkable success in natural language process (NLP), inspiring a growing body of research analyzing their ability from different aspects. In this paper, we propose a test suite to evaluate the cohesive ability of pre-trained language models. The test suite contains multiple cohesion phenomena between adjacent and non-adjacent sentences. We try to compare different pre-trained language models on these phenomena and analyze the experimental results,hoping more attention can be given to discourse cohesion in the future.
Abstract（参考訳）: 大規模な事前学習型ニューラルモデルは自然言語処理(NLP)において顕著な成功を収めており、さまざまな側面からその能力を分析する研究の活発化を刺激している。本稿では,事前学習した言語モデルの凝集性を評価するためのテストスイートを提案する。テストスイートは、隣接文と非隣接文との間に複数の凝集現象を含む。本研究では,これらの現象について事前学習した言語モデルを比較し,実験結果を解析し,今後の談話の結束により多くの注意を払っていくことを期待する。

関連論文リスト

Distilling Monolingual and Crosslingual Word-in-Context Representations [18.87665111304974]
本研究では,単言語と言語間の両方の設定において,事前学習した言語モデルから文脈における単語の意味表現を除去する手法を提案する。本手法では,事前学習したモデルのコーパスやパラメータの更新は不要である。本手法は,事前学習したモデルの異なる隠れ層の出力を自己注意を用いて組み合わせることから学習する。
論文参考訳（メタデータ） (2024-09-13T11:10:16Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
Reanalyzing L2 Preposition Learning with Bayesian Mixed Effects and a Pretrained Language Model [0.9374453871700481]
ベイジアンモデルとニューラルモデルの両方を用いて、中国語学習者の英単語に対する理解度を測定する2つのテストに対して、中国語学習者の反応のデータセットを識別する。その結果, 学生の能力, 課題タイプ, 刺激文間の重要な相互作用が新たに明らかになった。
論文参考訳（メタデータ） (2023-02-16T08:54:05Z)
What do Large Language Models Learn beyond Language? [10.9650651784511]
事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
論文参考訳（メタデータ） (2022-10-21T23:43:13Z)
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文参考訳（メタデータ） (2022-05-24T03:35:00Z)
Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文参考訳（メタデータ） (2022-03-19T06:28:30Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文参考訳（メタデータ） (2021-09-16T03:08:22Z)
The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
論文参考訳（メタデータ） (2021-09-13T16:17:23Z)
Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
論文参考訳（メタデータ） (2021-01-24T20:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。