論文の概要: From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for Automatic Neologism Detection

• arxiv url: http://arxiv.org/abs/2605.06426v1
• Date: Thu, 07 May 2026 15:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.941667
• Title: From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for Automatic Neologism Detection
• Title（参考訳）: 124万のトークンから1,021のネオロジズム:自動ネオロジズム検出のための大規模パイプライン
• Authors: Diego Rossini, Lonneke van der Plas,
• Abstract要約: 自動ネオロジズム検出のためのスケーラブルなモジュールパイプラインを提案する。 パイプラインは英語のReddit投稿5億2700万でインスタンス化されている。 124.6万個のユニークなトークンを抽出し、99.99%以上削減して1,021のネオロジズム候補を生成する。
• 参考スコア（独自算出の注目度）: 1.8429656136522097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a scalable, modular pipeline for automatic neologism detection that combines rule-based filtering with LLM classification. The pipeline is grounded in two complementary word-formation frameworks, grammatical and extra-grammatical morphology, which jointly define the scope of what counts as a neologism and inform a four-class classification scheme (neologism, entity, foreign, none). While designed to be modular and transferable at the architectural level, the pipeline is instantiated on 527 million English-language Reddit posts spanning 2005-2024. From this corpus, we extract 124.6 million unique tokens and reduce them by over 99.99% to yield 1,021 neologism candidates, a set small enough for manual expert verification. Multiple LLMs independently classify each candidate via majority vote, with a final verification step, revealing substantial cross-model disagreement and highlighting the challenge of operationalizing neologism detection at scale. Manual annotation of all 1,021 candidates confirms that 599 (58.7%) are genuine lexical innovations. The pipeline code, vocabulary compilation scripts, and the annotated candidate list are available at https://github.com/DiegoRossini/neologism-pipeline.
• Abstract（参考訳）: ルールベースフィルタリングとLLM分類を組み合わせた,自動ネオロジズム検出のためのスケーラブルなモジュールパイプラインを提案する。 このパイプラインは、2つの補完的な語形形成フレームワーク、文法的および外文法的形態学(英語版)に基礎を置いており、これはネオロジズムとして数えられるもののスコープを共同で定義し、4つの分類体系(ネオロジズム、実体、外国、なし)に通知するものである。 アーキテクチャレベルでモジュール化され、転送できるように設計されているこのパイプラインは、2005年から2024年の間に5億2700万の英語のReddit投稿でインスタンス化されている。 このコーパスから、124.6百万個のユニークなトークンを抽出し、99.99%以上削減して1,021のネオロジズム候補を生成する。 複数のLDMは、各候補を多数決で個別に分類し、最終的な検証段階を踏襲し、大規模なネオロジズム検出を運用することの難しさを浮き彫りにした。 1,021人の候補者のマニュアルアノテーションは、599人(58.7%)が真の語彙の革新であることを確認した。 パイプラインコード、語彙コンパイルスクリプト、アノテーション付き候補リストはhttps://github.com/DiegoRossini/neologism-pipeline.comで公開されている。

関連論文リスト

• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• LLM as a Neural Architect: Controlled Generation of Image Captioning Models Under Strict API Contracts [48.83701310501069]
  LLM誘導型ニューラルネットワーク探索パイプラインであるNN-Captionを提案する。 LEMURの分類バックボーンからCNNエンコーダを構成することで、実行可能な画像キャプチャモデルを生成する。 この作業では、プロンプトベースのコード生成と自動評価を統合するパイプラインを提示する。
  論文  参考訳（メタデータ） (2025-12-07T10:47:28Z)
• Advancing Natural Language Formalization to First Order Logic with Fine-tuned LLMs [0.0]
  予測可用性はパフォーマンスを15～20%向上させる。 モデルは特定の訓練をせずに、目に見えない論理的議論に一般化する。 構造論理の翻訳は堅牢であるが、述語抽出が主要なボトルネックとして現れる。
  論文  参考訳（メタデータ） (2025-09-26T13:30:50Z)
• Mario at EXIST 2025: A Simple Gateway to Effective Multilingual Sexism Detection [8.40042895828361]
  EXIST 2025 Task 1は、Llama 3.1 8Bの階層的低ランク適応(LoRA)を通じて、英語とスペイン語のツイートでテキストベースの性差別を検出する。 本手法では,3つの階層的なサブタスク間の依存関係を明示的にモデル化する条件付きアダプタルーティングを導入する。 提案手法は,トレーニング時間を75%削減し,モデルストレージを98%削減すると同時に,すべてのサブタスクで競合性能を実現する。
  論文  参考訳（メタデータ） (2025-07-15T05:30:32Z)
• NeuralNexus at BEA 2025 Shared Task: Retrieval-Augmented Prompting for Mistake Identification in AI Tutors [0.12499537119440242]
  本稿では, BEA 2025共有タスクにおけるトラック1のミステイク同定システムについて述べる。 この課題は、教師の反応が学生の推論における誤りを正しく識別するかどうかを評価することである。 我々のシステムは意味的に類似した例を検索し、構造化されたプロンプトを構築し、生成可能な予測をスキーマ誘導解析する。
  論文  参考訳（メタデータ） (2025-06-12T12:11:56Z)
• Vuyko Mistral: Adapting LLMs for Low-Resource Dialectal Translation [0.0]
  本稿では,ウクライナのフツル方言に大規模な言語モデルを適用するための最初の取り組みを紹介する。 我々は、9852語対標準ウクライナ語の文対と7320語の単語マッピングの辞書の並列コーパスを作成しました。
  論文  参考訳（メタデータ） (2025-06-09T10:30:35Z)
• Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models [37.8941430624661]
  本研究では,バイナリコード理解のための大規模言語モデル (LLM) の可能性について検討する。 BinSumは557K以上のバイナリ関数の包括的なベンチマークとデータセットである。 また,従来の完全マッチング手法を超越した意味的類似度尺度を提案する。
  論文  参考訳（メタデータ） (2023-12-15T08:32:28Z)
• Look Before You Leap: A Universal Emergent Decomposition of Retrieval Tasks in Language Models [58.57279229066477]
  本研究では,言語モデル(LM)が様々な状況下での検索タスクをどのように解決するかを検討する。 ORIONは6つのドメインにまたがる構造化された検索タスクの集合である。 LMは内部的にモジュール方式で検索タスクを分解する。
  論文  参考訳（メタデータ） (2023-12-13T18:36:43Z)
• Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment [49.3253280592705]
  我々は,bitextマイニングと教師なし単語アライメントを組み合わせた手法により,はるかに高品質な語彙を生成可能であることを示す。 私たちの最終モデルは、BUCC 2020共有タスクの最先端を14 $F_1$ポイント、平均12以上の言語ペアで上回ります。
  論文  参考訳（メタデータ） (2021-01-01T03:12:42Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。