Fugu-MT 論文翻訳(概要): Rethinking Transformer-based Multi-document Summarization: An Empirical Investigation

論文の概要: Rethinking Transformer-based Multi-document Summarization: An Empirical Investigation

arxiv url: http://arxiv.org/abs/2407.11948v1
Date: Tue, 16 Jul 2024 17:42:37 GMT
ステータス: 処理完了
システム内更新日: 2024-07-17 13:43:56.104785
Title: Rethinking Transformer-based Multi-document Summarization: An Empirical Investigation
Title（参考訳）: 変圧器を用いた多文書要約の再考:実証的研究
Authors: Congbo Ma, Wei Emma Zhang, Dileepa Pitawela, Haojie Zhuang, Yanfeng Shu,
Abstract要約: 本稿では,トランスフォーマーを用いたMDSモデルの動作に関する5つの実証的研究について述べる。その結果、文書境界セパレータの影響、異なるレベルの特徴の粒度、異なるモデルトレーニング戦略が示された。
参考スコア（独自算出の注目度）: 9.93082769257625
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The utilization of Transformer-based models prospers the growth of multi-document summarization (MDS). Given the huge impact and widespread adoption of Transformer-based models in various natural language processing tasks, investigating their performance and behaviors in the context of MDS becomes crucial for advancing the field and enhancing the quality of summary. To thoroughly examine the behaviours of Transformer-based MDS models, this paper presents five empirical studies on (1) measuring the impact of document boundary separators quantitatively; (2) exploring the effectiveness of different mainstream Transformer structures; (3) examining the sensitivity of the encoder and decoder; (4) discussing different training strategies; and (5) discovering the repetition in a summary generation. The experimental results on prevalent MDS datasets and eleven evaluation metrics show the influence of document boundary separators, the granularity of different level features and different model training strategies. The results also reveal that the decoder exhibits greater sensitivity to noises compared to the encoder. This underscores the important role played by the decoder, suggesting a potential direction for future research in MDS. Furthermore, the experimental results indicate that the repetition problem in the generated summaries has correlations with the high uncertainty scores.
Abstract（参考訳）: Transformerベースのモデルの利用は、多文書要約(MDS)の成長を促進する。様々な自然言語処理タスクにおけるTransformerベースのモデルに大きな影響と広く採用されていることを踏まえ,MDSの文脈におけるそれらの性能と振舞いの調査は,分野の進展と要約の質の向上に不可欠である。本稿では,(1)文書境界セパレータの影響を定量的に測定すること,(2)主要なトランスフォーマー構造の有効性を検討すること,(3)エンコーダとデコーダの感度を調べること,(4)異なるトレーニング戦略を検討すること,(5)要約生成における繰り返しを発見すること,の5つの実験的検討について述べる。有意なMDSデータセットと11つの評価指標による実験結果から,文書境界セパレータの影響,異なるレベルの特徴の粒度,異なるモデルトレーニング戦略が示された。また、デコーダは、エンコーダに比べてノイズに対する感度が高いことも明らかにした。このことはデコーダが果たす重要な役割を浮き彫りにして、将来のMDS研究の方向性を示唆している。さらに, 実験結果から, 生成した要約の繰り返し問題は, 高い不確実性スコアと相関があることが示唆された。

関連論文リスト

RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
論文参考訳（メタデータ） (2024-10-02T16:47:55Z)
The Mechanics of Conceptual Interpretation in GPT Models: Interpretative Insights [10.777646083061395]
本稿では,大規模言語モデルにおける概念化機構を明らかにする知識編集の革新的バリエーションである概念編集を紹介する。我々は、トランスモデルのマルチ層パーセプトロン(MLP)、マルチヘッドアテンション(MHA)、および隠れ状態成分を解析する。我々の研究は、LLMにおける複雑な階層化されたセマンティック処理の性質と、これらのモデルにおける特定の概念の分離と修正の課題を強調している。
論文参考訳（メタデータ） (2024-08-05T18:50:08Z)
Integrating Contrastive Learning into a Multitask Transformer Model for Effective Domain Adaptation [4.157415305926585]
本稿では,SERを主課題とするマルチタスクフレームワークを具現化した新しいドメイン適応手法を提案する。提案手法は, クロスコーパスシナリオにおけるSERの最先端性能を実現する。
論文参考訳（メタデータ） (2023-10-07T06:41:29Z)
How inter-rater variability relates to aleatoric and epistemic uncertainty: a case study with deep learning-based paraspinal muscle segmentation [1.9624082208594296]
本研究は, 層間変動が学習アルゴリズムの信頼性に与える影響について検討する。本研究は,ラベル融合戦略とDLモデルの選択による,ラター間の変動性と不確実性の間の相互作用を明らかにする。
論文参考訳（メタデータ） (2023-08-14T06:40:20Z)
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文参考訳（メタデータ） (2023-06-11T23:13:51Z)
Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
論文参考訳（メタデータ） (2023-06-01T19:04:17Z)
Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文参考訳（メタデータ） (2023-05-23T01:24:15Z)
VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
マルチモーダルの誤報はソーシャルメディアのプラットフォームで増え続けている問題です本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
論文参考訳（メタデータ） (2023-04-27T12:28:29Z)
Emotional Reaction Intensity Estimation Based on Multimodal Data [24.353102762289545]
本稿では,感情反応強度(ERI)推定法について紹介する。発声器が提供するマルチモーダルデータに基づいて,事前学習した異なるモデルを用いて,音響的特徴と視覚的特徴を抽出する。
論文参考訳（メタデータ） (2023-03-16T09:14:47Z)
The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文参考訳（メタデータ） (2022-10-12T15:25:19Z)
Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。