Fugu-MT 論文翻訳(概要): (Psycho-)Linguistic Features Meet Transformer Models for Improved Explainable and Controllable Text Simplification

論文の概要: (Psycho-)Linguistic Features Meet Transformer Models for Improved Explainable and Controllable Text Simplification

arxiv url: http://arxiv.org/abs/2212.09848v1
Date: Mon, 19 Dec 2022 20:46:21 GMT
ステータス: 処理完了
システム内更新日: 2022-12-21 15:05:11.491164
Title: (Psycho-)Linguistic Features Meet Transformer Models for Improved Explainable and Controllable Text Simplification
Title（参考訳）: 説明可能・制御可能なテキスト簡易化のためのトランスフォーマーモデルに適合する言語的特徴
Authors: Yu Qiao, Xiaofei Li, Daniel Wiechmann, Elma Kerz
Abstract要約: 我々は、説明可能かつ制御可能なTSに関する現在の研究を進めることを目指している。我々は、説明可能な複雑性予測を改善するために、事前訓練された言語モデルと組み合わせて、多数の(心理学的)言語的特徴を用いる。最新のSeq2Seq TSモデルであるACCESSを拡張して、10つの属性の明示的な制御を可能にする。
参考スコア（独自算出の注目度）: 31.64341800095214
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State-of-the-art text simplification (TS) systems adopt end-to-end neural network models to directly generate the simplified version of the input text, and usually function as a blackbox. Moreover, TS is usually treated as an all-purpose generic task under the assumption of homogeneity, where the same simplification is suitable for all. In recent years, however, there has been increasing recognition of the need to adapt the simplification techniques to the specific needs of different target groups. In this work, we aim to advance current research on explainable and controllable TS in two ways: First, building on recently proposed work to increase the transparency of TS systems, we use a large set of (psycho-)linguistic features in combination with pre-trained language models to improve explainable complexity prediction. Second, based on the results of this preliminary task, we extend a state-of-the-art Seq2Seq TS model, ACCESS, to enable explicit control of ten attributes. The results of experiments show (1) that our approach improves the performance of state-of-the-art models for predicting explainable complexity and (2) that explicitly conditioning the Seq2Seq model on ten attributes leads to a significant improvement in performance in both within-domain and out-of-domain settings.
Abstract（参考訳）: ts(state-of-the-art text simplification)システムは、エンドツーエンドのニューラルネットワークモデルを採用し、入力テキストの簡易バージョンを直接生成し、通常はブラックボックスとして機能する。さらに、TSは通常、同じ単純化がすべてに相応しい同次性の仮定の下で、全汎用的な汎用的タスクとして扱われる。しかし、近年では、単純化技術が異なる対象グループの特定のニーズに適応する必要性が認識されている。本研究では、TSシステムの透明性を高めるために最近提案された研究に基づき、事前学習された言語モデルと組み合わせて、説明可能な複雑性予測を改善するために、多数の(心理学的な)言語的特徴を利用する。第2に、この予備タスクの結果に基づいて、最先端のseq2seq tsモデルであるaccessを拡張し、10の属性を明示的に制御できるようにします。実験の結果,(1)本手法は,説明可能な複雑性を予測するための最先端モデルの性能を向上し,(2)seq2seqモデルを10個の属性で明示的に条件づけすることで,ドメイン内およびドメイン外の両方で性能が大幅に向上することが示された。

関連論文リスト

Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
論文参考訳（メタデータ） (2025-01-08T20:11:09Z)
Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文参考訳（メタデータ） (2024-10-31T07:28:22Z)
LLM-TS Integrator: Integrating LLM for Enhanced Time Series Modeling [5.853711797849859]
天気予報や異常検出などの動的システムでは時系列モデリングが不可欠である。近年,大規模言語モデル(LLM)をTSモデリングに利用し,その強力なパターン認識機能を活用している。
論文参考訳（メタデータ） (2024-10-21T20:29:46Z)
Layerwise complexity-matched learning yields an improved model of cortical area V2 [12.861402235256207]
ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドを訓練した。我々は,連続する層に独立して機能する自己指導型トレーニング手法を開発した。本モデルは, 霊長類領域V2における選択性特性と神経活動に適合していることが示唆された。
論文参考訳（メタデータ） (2023-12-18T18:37:02Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文参考訳（メタデータ） (2023-07-04T02:47:42Z)
Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation [2.526624977753083]
テキスト構造を応答位置と構文依存としてモデル化し,これらの制約に対処するために応答局所性モデリングと構文マスクアテンションを提案する。 SQuADデータセットの実験により、提案した2つのモジュールは、トレーニング済みの強力なモデルであるProphetNetよりも性能が向上することが示された。
論文参考訳（メタデータ） (2022-09-09T08:33:47Z)
Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain [18.090665052145653]
複素数値深層ニューラルネットワークを用いた音声強調のための新しい訓練課題を提案する。微分方程式の定式化の中でこのトレーニングタスクを導出することにより、予測子-相関子標本化が可能となる。
論文参考訳（メタデータ） (2022-03-31T12:53:47Z)
Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文参考訳（メタデータ） (2021-09-27T15:04:00Z)
A Full Text-Dependent End to End Mispronunciation Detection and Diagnosis with Easy Data Augmentation Techniques [28.59181595057581]
sed-mddとの違いである新しいテキスト依存モデルを提案する。本論文では,モデルが誤発音音素を捕捉する能力を効果的に向上する3つの単純なデータ拡張手法を提案する。
論文参考訳（メタデータ） (2021-04-17T03:11:41Z)
Controllable Text Simplification with Explicit Paraphrasing [88.02804405275785]
テキストの単純化は、語彙パラフレーズ、削除、分割など、いくつかの書き換え変換を通じて文の可読性を向上させる。現在の単純化システムは、主にシーケンス・ツー・シーケンスのモデルであり、これらすべての操作を同時に実行するためにエンドツーエンドで訓練されている。そこで我々は,言語的に動機づけられた規則を用いて分割と削除を行い,それらをニューラルパラフレーズモデルと組み合わせて様々な書き直しスタイルを創出するハイブリッド手法を提案する。
論文参考訳（メタデータ） (2020-10-21T13:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。