論文の概要: LEAF: A Robust Expert-Based Framework for Few-Shot Continual Event Detection
- arxiv url: http://arxiv.org/abs/2509.24547v1
- Date: Mon, 29 Sep 2025 10:00:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.911443
- Title: LEAF: A Robust Expert-Based Framework for Few-Shot Continual Event Detection
- Title(参考訳): LEAF:Few-Shot連続イベント検出のためのロバストエキスパートベースのフレームワーク
- Authors: Bao-Ngoc Dao, Quang Nguyen, Luyen Ngo Dinh, Minh Le, Linh Ngo Van,
- Abstract要約: LEAFは、連続イベント検出のための新しくて堅牢なエキスパートベースのフレームワークである。
各専門家はローランク適応(LoRA)行列でパラメータ化される。
セマンティックアウェアの専門家選択機構は、インスタンスを最も関係のある専門家に動的にルーティングし、専門家の専門化と知識干渉の低減を可能にする。
- 参考スコア(独自算出の注目度): 7.094483187879095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot Continual Event Detection (FCED) poses the dual challenges of learning from limited data and mitigating catastrophic forgetting across sequential tasks. Existing approaches often suffer from severe forgetting due to the full fine-tuning of a shared base model, which leads to knowledge interference between tasks. Moreover, they frequently rely on data augmentation strategies that can introduce unnatural or semantically distorted inputs. To address these limitations, we propose LEAF, a novel and robust expert-based framework for FCED. LEAF integrates a specialized mixture of experts architecture into the base model, where each expert is parameterized with low-rank adaptation (LoRA) matrices. A semantic-aware expert selection mechanism dynamically routes instances to the most relevant experts, enabling expert specialization and reducing knowledge interference. To improve generalization in limited-data settings, LEAF incorporates a contrastive learning objective guided by label descriptions, which capture high-level semantic information about event types. Furthermore, to prevent overfitting on the memory buffer, our framework employs a knowledge distillation strategy that transfers knowledge from previous models to the current one. Extensive experiments on multiple FCED benchmarks demonstrate that LEAF consistently achieves state-of-the-art performance.
- Abstract(参考訳): Few-shot Continual Event Detection (FCED)は、限られたデータから学習し、シーケンシャルなタスク間で破滅的な忘れを緩和する、という2つの課題を提起する。
既存のアプローチは、共有ベースモデルの完全な微調整がタスク間の知識干渉を引き起こすため、しばしば深刻な忘れ込みに悩まされる。
さらに、不自然なあるいは意味論的に歪んだ入力を導入することができるデータ拡張戦略に頻繁に依存する。
これらの制約に対処するため,我々は,FCEDのための新規で堅牢なエキスパートベースのフレームワークであるLEAFを提案する。
LEAFは専門家アーキテクチャの特殊な混合をベースモデルに統合し、各専門家はローランク適応(LoRA)行列でパラメータ化される。
セマンティックアウェアの専門家選択機構は、インスタンスを最も関係のある専門家に動的にルーティングし、専門家の専門化と知識干渉の低減を可能にする。
限定データ設定の一般化を改善するため、LEAFはラベル記述によってガイドされる対照的な学習目標を導入し、イベントタイプに関する高レベルなセマンティック情報をキャプチャする。
さらに,メモリバッファの過度な適合を防止するため,従来のモデルから現在のモデルへ知識を伝達する知識蒸留戦略を採用している。
複数のFCEDベンチマークでの大規模な実験は、LEAFが常に最先端のパフォーマンスを達成することを示した。
関連論文リスト
- One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。
SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
論文 参考訳(メタデータ) (2025-09-29T08:54:58Z) - PL-CA: A Parametric Legal Case Augmentation Framework [10.998168534326709]
従来のRAGは、取得した文書を直接モデルのコンテキストに注入するのみである。
多くの既存のベンチマークには専門家のアノテーションがなく、個別の下流タスクのみに焦点を当てている。
本稿では,PL-CAを提案する。PL-CAは,コーパス知識に基づくデータ拡張を行うためのパラメトリックRAGフレームワークである。
論文 参考訳(メタデータ) (2025-09-08T06:08:06Z) - Keep the General, Inject the Specific: Structured Dialogue Fine-Tuning for Knowledge Injection without Catastrophic Forgetting [24.67373225584835]
大規模ビジョン言語モデルは、広範囲なマルチモーダル事前学習を通じて、印象的な多機能性を実証している。
ドメイン固有の知識を注入する直接的な適応アプローチは、基礎的な視覚言語能力の破滅的な忘れをしばしば引き起こす。
本稿では,破滅的忘れを最小化しつつ,ドメイン固有の知識を効果的に注入する効果的な手法である構造化対話ファインタニング(SDFT)を紹介する。
論文 参考訳(メタデータ) (2025-04-27T18:04:02Z) - DUKAE: DUal-level Knowledge Accumulation and Ensemble for Pre-Trained Model-Based Continual Learning [19.684132921720945]
事前学習型モデルベース連続学習(PTMCL)は,新たな知識のより迅速な獲得を可能にするため,注目を集めている。
本稿では,機能レベルと意思決定レベルの知識蓄積を両立させるDual-level Knowledge Accumulation and Ensemble(DUKAE)を提案する。
CIFAR-100、ImageNet-R、CUB-200、Cars-196データセットの実験は、我々のアプローチの優れた性能を示している。
論文 参考訳(メタデータ) (2025-04-09T01:40:38Z) - LoRASculpt: Sculpting LoRA for Harmonizing General and Specialized Knowledge in Multimodal Large Language Models [61.96237184081951]
Low-Rank Adaptation (LoRA)はマルチモーダル大規模言語モデル(MLLM)における専門知識の獲得に広く利用されている。
LoRAは、視覚的インストラクションチューニング中にかなり有害な冗長性を導入し、一般的な知識の忘れを悪化させ、下流のタスク性能を低下させる。
有害な冗長パラメータを排除し,一般知識と専門知識の調和を図るため,LoRASculptを提案する。
論文 参考訳(メタデータ) (2025-03-21T04:31:09Z) - Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。
MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。
標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文 参考訳(メタデータ) (2025-03-05T06:11:24Z) - Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。
本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
論文 参考訳(メタデータ) (2025-01-09T07:18:48Z) - LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization [61.16890890570814]
ドメイン一般化(Domain Generalization, DG)手法は、複数のソースドメインからのトレーニングデータを使用することで、目に見えないターゲットドメインにおける優れたパフォーマンスを維持することを目的としている。
この作業では、DGを改善するために、ターゲットモデルをすべてのソースドメインの専門家にすることを目的とした、複数の専門家(LFME)からの学習と呼ばれる、シンプルだが効果的なフレームワークを導入している。
論文 参考訳(メタデータ) (2024-10-22T13:44:10Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。