論文の概要: ToMMeR -- Efficient Entity Mention Detection from Large Language Models

• arxiv url: http://arxiv.org/abs/2510.19410v1
• Date: Wed, 22 Oct 2025 09:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.525593
• Title: ToMMeR -- Efficient Entity Mention Detection from Large Language Models
• Title（参考訳）: ToMMeR -- 大規模言語モデルからの効率的なエンティティの調停検出
• Authors: Victor Morand, Nadi Tomeh, Josiane Mothe, Benjamin Piwowarski,
• Abstract要約: 我々は,初期のLCM層からの参照検出機能を示す軽量モデルToMMeRを紹介する。 ToMMeRは93%のリコールゼロショットを達成する。 クロスモデル解析は、多様なアーキテクチャが類似の参照境界に収束していることを明らかにする。
• 参考スコア（独自算出の注目度）: 12.333249356924528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Identifying which text spans refer to entities -- mention detection -- is both foundational for information extraction and a known performance bottleneck. We introduce ToMMeR, a lightweight model (<300K parameters) probing mention detection capabilities from early LLM layers. Across 13 NER benchmarks, ToMMeR achieves 93\% recall zero-shot, with over 90\% precision using an LLM as a judge showing that ToMMeR rarely produces spurious predictions despite high recall. Cross-model analysis reveals that diverse architectures (14M-15B parameters) converge on similar mention boundaries (DICE >75\%), confirming that mention detection emerges naturally from language modeling. When extended with span classification heads, ToMMeR achieves near SOTA NER performance (80-87\% F1 on standard benchmarks). Our work provides evidence that structured entity representations exist in early transformer layers and can be efficiently recovered with minimal parameters.
• Abstract（参考訳）: どのテキストがエンティティを参照しているかを識別する -- 検出に言及する -- は、情報抽出の基礎であり、既知のパフォーマンスボトルネックである。 我々は,初期のLCM層から参照検出機能を探索する軽量モデルToMMeR(300Kパラメータ)を紹介する。 13のNERベンチマークで、ToMMeRは93%のリコールゼロショットを達成した。 クロスモデル解析により、様々なアーキテクチャ(14M-15Bパラメータ)が類似の参照境界(DICE >75\%)に収束し、参照検出が言語モデリングから自然に現れることを確認した。 ToMMeRは、スパン分類ヘッドで拡張すると、SOTA NER性能(標準ベンチマークでは80-87\% F1)に近い性能を達成する。 我々の研究は、構造化された実体表現がアーリートランスフォーマー層に存在し、最小限のパラメータで効率的に復元できることを示す。

関連論文リスト

• PSRT: Accelerating LRM-based Guard Models via Prefilled Safe Reasoning Traces [81.70980843006681]
  提案手法では,PSRT をモデル推論プロセスから Prefilled Safe Reasoning Trace に置き換える手法を紹介する。 PSRTは構築されたデータセットから“仮想トークンの安全な推論”をプリフィルし、継続的な埋め込みについて学習する。 我々は,PSRTを7つのモデル,13のデータセット,8つのジェイルブレイク法で評価した。
  論文  参考訳（メタデータ） (2025-09-26T02:14:31Z)
• Retrieval-Enhanced Few-Shot Prompting for Speech Event Extraction [0.0]
  音声イベント抽出(SpeechEE)は、音声認識(ASR)と自然言語処理(NLP)の交差点に位置する課題である。 本稿では,Large Language Models (LLM) のセマンティック検索強化プロンプトと高性能ASRを統合したモジュール型パイプラインベースのSpeechEEフレームワークを提案する。 この結果から,LLMに強化されたパイプラインアプローチは,エンド・ツー・エンドのシステムに匹敵する,あるいは超越できることを示した。
  論文  参考訳（メタデータ） (2025-04-30T07:10:10Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• MDSGen: Fast and Efficient Masked Diffusion Temporal-Aware Transformers for Open-Domain Sound Generation [21.242398582282522]
  視覚誘導型オープンドメイン音声生成のための新しいフレームワークであるMDSGenを紹介する。 MDSGenはマスク付き拡散変換器を採用し、事前訓練された拡散モデルに頼らずに効率的な生成を容易にする。 ベンチマークVGGSoundデータセットから評価すると、最小のモデル(5Mパラメータ)は9.7.9$%のアライメント精度を実現している。 我々のより大きなモデル(131Mパラメータ)は、ほぼ99$%の精度に到達し、6.5times$より少ないパラメータを必要とします。
  論文  参考訳（メタデータ） (2024-10-03T01:23:44Z)
• MeTMaP: Metamorphic Testing for Detecting False Vector Matching Problems in LLM Augmented Generation [15.382745718541063]
  本稿では,LLM拡張生成システムにおいて,偽ベクトルマッチングを識別するフレームワークであるMeTMaPを提案する。 MeTMaPは意味論的に類似したテキストは一致すべきであり、異種テキストは一致すべきではないという考えに基づいている。 我々は,29の埋め込みモデルと7つの距離メトリクスを含む203個のベクトルマッチング構成に対するMeTMaPの評価を行った。
  論文  参考訳（メタデータ） (2024-02-22T12:13:35Z)
• See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
  この課題を解決するために,LMMのカスケードと共同学習手法を提案する。 得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
  論文  参考訳（メタデータ） (2023-12-13T18:58:04Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• IDIAPers @ Causal News Corpus 2022: Efficient Causal Relation Identification Through a Prompt-based Few-shot Approach [3.4423596432619754]
  我々は、微調整言語モデル(LM)のための単純だが相補的手法のセットを活用することで、因果関係同定(CRI)タスクに対処する。 我々は、CRIタスクをマスキング言語モデリング問題(MLM)として扱う微調整LMのプロンプトベースの予測手法に従う。 本手法の性能を,データセット全体で訓練されたアンサンブル手法と比較する。
  論文  参考訳（メタデータ） (2022-09-08T16:03:50Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。