論文の概要: MEIC-DT: Memory-Efficient Incremental Clustering for Long-Text Coreference Resolution with Dual-Threshold Constraints
- arxiv url: http://arxiv.org/abs/2512.24711v1
- Date: Wed, 31 Dec 2025 08:26:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-01 23:27:28.60728
- Title: MEIC-DT: Memory-Efficient Incremental Clustering for Long-Text Coreference Resolution with Dual-Threshold Constraints
- Title(参考訳): MEIC-DT:デュアル閾値制約を用いた長期テキスト照合のためのメモリ効率の良いインクリメンタルクラスタリング
- Authors: Kangyang Luo, Shuzheng Si, Yuzhuo Bai, Cheng Gao, Zhitong Wang, Cheng Huang, Yingli Shen, Yufeng Han, Wenhao Li, Cunliang Kong, Maosong Sun,
- Abstract要約: textbfMEIC-DTは、軽量トランスフォーマーに基づくメモリ効率の高いインクリメンタルクラスタリングアプローチである。
本稿では,MEIC-DTがメモリ制約下で高い競合性能を実現することを示す。
- 参考スコア(独自算出の注目度): 42.81232562487108
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the era of large language models (LLMs), supervised neural methods remain the state-of-the-art (SOTA) for Coreference Resolution. Yet, their full potential is underexplored, particularly in incremental clustering, which faces the critical challenge of balancing efficiency with performance for long texts. To address the limitation, we propose \textbf{MEIC-DT}, a novel dual-threshold, memory-efficient incremental clustering approach based on a lightweight Transformer. MEIC-DT features a dual-threshold constraint mechanism designed to precisely control the Transformer's input scale within a predefined memory budget. This mechanism incorporates a Statistics-Aware Eviction Strategy (\textbf{SAES}), which utilizes distinct statistical profiles from the training and inference phases for intelligent cache management. Furthermore, we introduce an Internal Regularization Policy (\textbf{IRP}) that strategically condenses clusters by selecting the most representative mentions, thereby preserving semantic integrity. Extensive experiments on common benchmarks demonstrate that MEIC-DT achieves highly competitive coreference performance under stringent memory constraints.
- Abstract(参考訳): 大規模言語モデル(LLM)の時代において、教師付きニューラルネットワークは、参照解決のための最先端(SOTA)のままである。
しかし、特にインクリメンタルクラスタリングでは、長文のパフォーマンスと効率のバランスをとるという重要な課題に直面している。
この制限に対処するために,軽量トランスフォーマーをベースとした,新しいデュアルスレッド・メモリ効率のインクリメンタルクラスタリング手法である \textbf{MEIC-DT} を提案する。
MEIC-DTは、予め定義されたメモリ予算内でTransformerの入力スケールを正確に制御するように設計されたデュアルスレッド制約機構を備えている。
このメカニズムには Statistics-Aware Eviction Strategy (\textbf{SAES}) が組み込まれている。
さらに、最も代表的な言及を選択してクラスタを戦略的に凝縮する内部正規化ポリシー(\textbf{IRP})を導入し、セマンティックな整合性を保つ。
一般的なベンチマーク実験により,MEIC-DTは強いメモリ制約下で高い競合性能を発揮することが示された。
関連論文リスト
- Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳(メタデータ) (2025-12-10T01:54:57Z) - Adapformer: Adaptive Channel Management for Multivariate Time Series Forecasting [49.40321003932633]
Adapformerは、効果的なチャネル管理を通じてCIとCD方法論のメリットをマージする、トランスフォーマーベースの高度なフレームワークである。
Adapformerは既存のモデルよりも優れた性能を実現し、予測精度と計算効率の両方を向上させる。
論文 参考訳(メタデータ) (2025-11-18T16:24:05Z) - Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。
リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。
この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
論文 参考訳(メタデータ) (2025-11-06T02:55:07Z) - Label-independent hyperparameter-free self-supervised single-view deep subspace clustering [0.0]
ディープサブスペースクラスタリング(DSC)アルゴリズムは、ドメイン間で広く採用されるのを妨げるいくつかの課題に直面している。
本稿では,結合表現行列を用いたレイヤワイド自己表現損失を最小限に抑える一視点DSC手法を提案する。
提案手法は,顔,数字,オブジェクトを表す6つのデータセットに対して評価する。
論文 参考訳(メタデータ) (2025-04-25T08:54:34Z) - Dynamic Memory-enhanced Transformer for Hyperspectral Image Classification [3.5093938502961763]
ハイパースペクトル画像(HSI)分類は、複雑な空間スペクトル相関のため、依然として困難な課題である。
既存のトランスモデルは、長距離依存を捉えるのに優れているが、情報冗長性と注意力の非効率さに悩まされることが多い。
MemFormerは、動的メモリモジュールを反復的に洗練するメモリ強化型マルチヘッドアテンションメカニズムを導入している。
動的メモリ富化戦略は、複雑な空間的およびスペクトル的依存関係を段階的にキャプチャし、より表現力のある特徴表現をもたらす。
論文 参考訳(メタデータ) (2025-04-17T17:43:34Z) - Exploiting Mixture-of-Experts Redundancy Unlocks Multimodal Generative Abilities [69.26544016976396]
我々は、新しいモダリティを学ぶための追加能力の源として、Mixture-of-Experts(MoEs)内の冗長性を利用する。
我々は、新しいモダリティのトークンのみに低ランク適応を適用することで、オリジナルの言語生成能力を保ちます。
論文 参考訳(メタデータ) (2025-03-28T15:21:24Z) - Structured Token Retention and Computational Memory Paths in Large Language Models [0.0]
本稿では,文脈的重要性に基づいてトークンの永続化を動的に調整する確率的選択フレームワークを提案する。
階層的なメモリ割り当てによって拡張され、トークン埋め込みの構造化された再配置によって保持効率を向上する。
STRとCMPのオープンソースモデルへの統合は、構造化メモリ保持手法の適応性を示している。
論文 参考訳(メタデータ) (2025-02-05T11:59:22Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。