論文の概要: A Compressive Memory-based Retrieval Approach for Event Argument Extraction

• arxiv url: http://arxiv.org/abs/2409.09322v1
• Date: Sat, 14 Sep 2024 05:51:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 21:19:23.562860
• Title: A Compressive Memory-based Retrieval Approach for Event Argument Extraction
• Title（参考訳）: 圧縮記憶に基づくイベント引数抽出のための検索手法
• Authors: Wanlong Liu, Enqi Zhang, Li Zhou, Dingyi Zeng, Shaohuan Cheng, Chen Zhang, Malu Zhang, Wenyu Chen,
• Abstract要約: イベントアグラメント抽出(EAE)のための圧縮メモリベース検索(CMR)機構を提案する。 提案手法は,3つの公開データセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 18.526784020974024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have demonstrated the effectiveness of retrieval augmentation in the Event Argument Extraction (EAE) task. However, existing retrieval-based EAE methods have two main limitations: (1) input length constraints and (2) the gap between the retriever and the inference model. These issues limit the diversity and quality of the retrieved information. In this paper, we propose a Compressive Memory-based Retrieval (CMR) mechanism for EAE, which addresses the two limitations mentioned above. Our compressive memory, designed as a dynamic matrix that effectively caches retrieved information and supports continuous updates, overcomes the limitations of the input length. Additionally, after pre-loading all candidate demonstrations into the compressive memory, the model further retrieves and filters relevant information from memory based on the input query, bridging the gap between the retriever and the inference model. Extensive experiments show that our method achieves new state-of-the-art performance on three public datasets (RAMS, WikiEvents, ACE05), significantly outperforming existing retrieval-based EAE methods.
• Abstract（参考訳）: 最近の研究は、イベントアグメント抽出(EAE)タスクにおける検索強化の有効性を実証している。 しかし,既存の検索ベースAE法には,(1)入力長制約と(2)検索器と推論モデルとのギャップという2つの制限がある。 これらの問題は、取得した情報の多様性と品質を制限する。 本稿では,上述の2つの制約に対処するEAEのための圧縮メモリベース検索機構を提案する。 我々の圧縮メモリは、取得した情報を効果的にキャッシュし、継続的な更新をサポートする動的マトリックスとして設計されており、入力長の制限を克服しています。 さらに、すべての候補デモを圧縮メモリにプリロードした後、モデルはさらに、入力クエリに基づいてメモリから関連情報を検索してフィルタリングし、検索者と推論モデルの間のギャップを埋める。 実験の結果,提案手法は3つの公開データセット(RAMS,WikiEvents,ACE05)に対して新たな最先端性能を実現し,既存の検索ベースEAE手法よりも優れていた。

関連論文リスト

• Towards Competitive Search Relevance For Inference-Free Learned Sparse Retrievers [6.773411876899064]
  推測のないスパースモデルは 検索の関連という点で はるかに遅れています スパースモデルと密集したサイムズモデルの両方と比較して まず,IDF(Inverted Document Frequency)を導入したIFF対応のFLOPS損失を表現のスペーシングに導入する。 その結果、FLOPS正則化が検索関連性に与える影響を軽減し、精度と効率のバランスが良くなることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T03:46:43Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning [19.717868805172323]
  新たなフレームワークであるDuplicate Elimination(DUEL)の自己教師付き事前学習におけるアクティブなデータフィルタリングプロセスを提案する。 このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特異性情報を導入する。 最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。
  論文  参考訳（メタデータ） (2024-02-14T06:09:36Z)
• Attendre: Wait To Attend By Retrieval With Evicted Queries in Memory-Based Transformers for Long Context Processing [2.9733429388858714]
  効果的なアプローチの1つは、FIFOメモリを使用して過去のチャンクから注目サブレイヤのキーと値を保存することで、その後のクエリへの参加を可能にすることである。 本稿では,LRAやLFAなどの省略ポリシーを用いてメモリサイズを小さくし,様々なアーキテクチャに適応することを提案する。 また,クエリメモリ内のクエリを削除したキー値メモリを検索することで,待ち待ち待ちのメカニズムであるAttendre層を提案する。
  論文  参考訳（メタデータ） (2024-01-10T02:20:48Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。 損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-02T03:12:06Z)
• MultIOD: Rehearsal-free Multihead Incremental Object Detector [17.236182938227163]
  本研究では,CenterNetに基づくクラスインクリメンタルオブジェクト検出器であるMultIODを提案する。 われわれは,まず学習したクラスと漸進的に学習したクラスの間で伝達学習を採用し,破滅的な忘れに対処した。 その結果,本手法は2つのPascal VOCデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-09-11T09:32:45Z)
• Finding Action Tubes with a Sparse-to-Dense Framework [62.60742627484788]
  本稿では,ビデオストリームからのアクションチューブ提案を1つのフォワードパスでスパース・トゥ・デンス方式で生成するフレームワークを提案する。 UCF101-24, JHMDB-21, UCFSportsベンチマークデータセット上で, 本モデルの有効性を評価する。
  論文  参考訳（メタデータ） (2020-08-30T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。