論文の概要: BoschAI @ PLABA 2023: Leveraging Edit Operations in End-to-End Neural Sentence Simplification

• arxiv url: http://arxiv.org/abs/2311.01907v1
• Date: Fri, 3 Nov 2023 13:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 14:12:03.035372
• Title: BoschAI @ PLABA 2023: Leveraging Edit Operations in End-to-End Neural Sentence Simplification
• Title（参考訳）: BoschAI @ PLABA 2023: エンドツーエンドのニューラルネットワーク文単純化における編集操作の活用
• Authors: Valentin Knappich, Simon Razniewski, Annemarie Friedrich
• Abstract要約: バイオメディカルテキストの簡易化に対処するPLABA共有タスクの第1位であるLlama 2に基づくシステムについて述べる。 入力と出力の共有トークンの大部分は、弱いトレーニング信号や編集モデルに繋がることがわかった。
• 参考スコア（独自算出の注目度）: 14.739169625172092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic simplification can help laypeople to comprehend complex scientific text. Language models are frequently applied to this task by translating from complex to simple language. In this paper, we describe our system based on Llama 2, which ranked first in the PLABA shared task addressing the simplification of biomedical text. We find that the large portion of shared tokens between input and output leads to weak training signals and conservatively editing models. To mitigate these issues, we propose sentence-level and token-level loss weights. They give higher weight to modified tokens, indicated by edit distance and edit operations, respectively. We conduct an empirical evaluation on the PLABA dataset and find that both approaches lead to simplifications closer to those created by human annotators (+1.8% / +3.5% SARI), simpler language (-1 / -1.1 FKGL) and more edits (1.6x / 1.8x edit distance) compared to the same model fine-tuned with standard cross entropy. We furthermore show that the hyperparameter $\lambda$ in token-level loss weights can be used to control the edit distance and the simplicity level (FKGL).
• Abstract（参考訳）: 自動単純化は、素人が複雑な科学文書を理解するのに役立つ。 言語モデルは、複雑な言語から単純な言語に翻訳することで、このタスクに頻繁に適用される。 本稿では,生体医学的テキストの簡易化に取り組むplaba共有タスクで第1位となるllama 2に基づくシステムについて述べる。 入力と出力の共有トークンの大部分は、トレーニング信号の弱さと保守的なモデル編集につながることがわかった。 これらの問題を緩和するために,文レベルとトークンレベルの損失重み付けを提案する。 彼らはそれぞれ、編集距離と編集操作によって示される変更トークンに重みを与える。 我々はPLABAデータセット上で実験的な評価を行い、両者のアプローチが人間のアノテーション(+1.8% / +3.5% SARI)、より単純な言語(-1/-1.1 FKGL)、より多くの編集(1.6x / 1.8x編集距離)と、標準的なクロスエントロピーで微調整された同じモデルに近づいた。 さらに,トークンレベルの損失重みのハイパーパラメータ$\lambda$を編集距離と単純度(fkgl)を制御するために使用できることを示した。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• Positional Description for Numerical Normalization [1.1082494526951898]
  本稿では,桁列に適した位置記述方式(PDS)を提案し,各桁のプレースホルダ値情報を統合する。 PDSは、ニューラルネットワークモデルの致命的な数値正規化エラーを軽減し、わずかなトレーニングデータしか必要としない。 PDSはテキスト音声と音声認識の両方のテキスト処理に必須であり、生産制約下で有効なTNを実現することを実証する。
  論文  参考訳（メタデータ） (2024-08-22T14:24:20Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• G-SPEED: General SParse Efficient Editing MoDel [25.48360227520061]
  underlinetextbfGeneral underlinetextbfSParse underlinetextbfEfficient underlinetextbfEditing MounderlinetextbfDel(textbfG-SPEED)
  論文  参考訳（メタデータ） (2023-10-16T15:01:18Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Dancing Between Success and Failure: Edit-level Simplification Evaluation using SALSA [21.147261039292026]
  編集ベースのヒューマンアノテーションフレームワークであるSALSAを紹介する。 我々は、成功と失敗の全範囲をカバーする、言語的に基礎付けられた20の編集タイプを開発する。 LENS-SALSAは,文品質と単語品質を同時に予測するために訓練された,参照不要な自動単純化指標である。
  論文  参考訳（メタデータ） (2023-05-23T18:30:49Z)
• Toward Efficient Language Model Pretraining and Downstream Adaptation via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
  このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。 SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
  論文  参考訳（メタデータ） (2022-12-04T15:36:18Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Challenging the Semi-Supervised VAE Framework for Text Classification [1.8907108368038217]
  SSVAE(Semi-Supervised Variational Autoencoders)は、データ効率向上のためのモデルである。 テキスト分類作業において,SSVAEを単純化する。 実験では、同等の分類スコアを維持しながら、26%のスピードアップを示した。
  論文  参考訳（メタデータ） (2021-09-27T11:46:32Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Semi-Supervised Text Simplification with Back-Translation and Asymmetric Denoising Autoencoders [37.949101113934226]
  テキスト単純化(TS)は、長い文を単純化した変種に言い換え、固有の意味を保ちながら表現する。 本研究では,TSタスクにおける大量の未ペアコーパスの活用方法について検討する。 本稿では,異なる複雑さを持つ文に対する非対称な記述法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T11:19:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。