論文の概要: RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization

• arxiv url: http://arxiv.org/abs/2405.00657v1
• Date: Wed, 1 May 2024 17:37:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 14:57:49.264034
• Title: RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization
• Title（参考訳）: RST-LoRA:Long Document Abstractive Summarizationのための談話対応低ランク適応
• Authors: Dongqi Pu, Vera Demberg,
• Abstract要約: 本稿では RST-LoRA モデルに RST を明示的に組み込むための RST-LoRA を4種類提案する。 我々の経験的評価は、修辞関係のタイプと不確かさを取り入れることで、LoRAの性能を補完的に向上させることができることを示している。
• 参考スコア（独自算出の注目度）: 19.214041945441434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For long document summarization, discourse structure is important to discern the key content of the text and the differences in importance level between sentences. Unfortunately, the integration of rhetorical structure theory (RST) into parameter-efficient fine-tuning strategies for long document summarization remains unexplored. Therefore, this paper introduces RST-LoRA and proposes four RST-aware variants to explicitly incorporate RST into the LoRA model. Our empirical evaluation demonstrates that incorporating the type and uncertainty of rhetorical relations can complementarily enhance the performance of LoRA in summarization tasks. Furthermore, the best-performing variant we introduced outperforms the vanilla LoRA and full-parameter fine-tuning models, as confirmed by multiple automatic and human evaluations, and even surpasses previous state-of-the-art methods.
• Abstract（参考訳）: 長い文書要約のためには、文章のキー内容と文間の重要度の違いを識別するために、談話構造が重要である。 残念ながら、長い文書要約のためのパラメータ効率のよい微調整戦略への修辞構造理論(RST)の統合は未解明のままである。 そこで本稿では, RST-LoRA モデルに RST を明示的に組み込むため, RST-LoRA を4種類提案する。 我々の経験的評価は、修辞関係の型と不確かさを取り入れることで、要約タスクにおけるLoRAの性能を相補的に向上できることを示した。 さらに,バニラLORAとフルパラメータ微調整モデルよりも優れた性能を示し,複数の自動評価や人体評価で確認され,従来の最先端手法よりも優れていた。

関連論文リスト

• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Incorporating Distributions of Discourse Structure for Long Document Abstractive Summarization [11.168330694255404]
  本稿では,修辞関係のタイプと不確実性を包括的に組み込んだ新しい要約モデルであるRSTformerを紹介する。 文書レベルの修辞構造に根ざしたRTTアテンション機構は,最近開発されたLongformerフレームワークの拡張である。
  論文  参考訳（メタデータ） (2023-05-26T09:51:47Z)
• Reconstruct Before Summarize: An Efficient Two-Step Framework for Condensing and Summarizing Meeting Transcripts [32.329723001930006]
  本稿では,効率的なミーティング要約のための2段階のフレームワークであるReconstruct before Summarize (RbS)を提案する。 RbSは、まず自己管理パラダイムを利用して、ミーティングの書き起こしを再構築することで、本質的な内容に注釈を付ける。 次に,相対的な位置バケット化(RPB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-13T19:54:46Z)
• Enriching Relation Extraction with OpenIE [70.52564277675056]
  関係抽出(RE)は情報抽出(IE)のサブ分野である 本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。 本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
  論文  参考訳（メタデータ） (2022-12-19T11:26:23Z)
• Full-Text Argumentation Mining on Scientific Publications [3.8754200816873787]
  フルテキストSAMに対してADURとAREを組み合わせた逐次パイプラインモデルを提案する。 両サブタスクにおける事前学習言語モデル(PLM)の性能について,最初の解析を行った。 本稿では,非連続型ADUと談話コネクタの解釈が重要な課題であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T10:05:30Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Controllable Abstractive Dialogue Summarization with Sketch Supervision [56.59357883827276]
  本モデルは,最大50.79のROUGE-Lスコアを持つ最大対話要約コーパスSAMSumの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-28T19:05:36Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。