論文の概要: pylazaro: a Python package for anglicism extraction in Spanish
- arxiv url: http://arxiv.org/abs/2609.29276v1
- Date: Thu, 24 Sep 2026 09:13:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.808046
- Title: pylazaro: a Python package for anglicism extraction in Spanish
- Title(参考訳): pylazaro: スペイン語でアングリシズム抽出のためのPythonパッケージ
- Abstract要約: pylazaroは、スペイン語のテキストから非同化語彙の借用を抽出するためのオープンソースのPythonパッケージである。
異なるライブラリを使ってトレーニングされた5つのシーケンスラベリングモデルに対して、単一のインターフェースを提供する。
Pylazaroは58,000回以上ダウンロードされ、スペインの報道機関でアングリシズムの使用を監視するリソースであるObservatorio Lazaroのライブラリである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Lexical borrowings are words from one language that are introduced into another language. Identifying lexical borrowings in text is a relevant task for data-centric fields in Linguistics such as lexicography or corpus linguistics, but none of the standard libraries for text processing offers such a functionality. In this paper we present pylazaro, an open-source Python package for the automatic extraction of unassimilated lexical borrowings (mostly anglicisms) from Spanish text. pylazaro offers a single interface to five sequence labeling models that were trained using different libraries, so that users can run and switch between them without having to deal with the idiosyncrasies of each library. We describe the design and usage of the package, contrast the performance of its models with that of general-purpose LLMs (which perform poorly at this task: F1 below 0.40, compared to 0.86 for the best model in pylazaro) and report on its adoption: pylazaro has been downloaded more than 58,000 times and is the library behind Observatorio Lazaro, a resource that monitors anglicism usage in the Spanish press. pylazaro can be installed via PyPI, is documented in readthedocs and can be tried through a live demo hosted on HuggingFace Spaces.
- Abstract(参考訳): レキシカル借用語(Lexical borrowing)は、ある言語から他の言語に導入された単語である。
語彙の借用をテキストで識別することは、語彙学やコーパス言語学のような言語学におけるデータ中心の分野にとって重要なタスクであるが、テキスト処理の標準ライブラリにはそのような機能を提供していない。
本稿では、スペイン語テキストから非同化語彙借用(主にアングリシズム)を自動的に抽出するオープンソースのPythonパッケージであるpylazaroについて述べる。
pylazaroは、異なるライブラリを使用してトレーニングされた5つのシーケンスラベリングモデルに対して、単一のインターフェースを提供する。
パッケージの設計と使用について説明するとともに、そのモデルの性能を汎用LLM(F1は0.40以下、pylazaroの最良のモデルでは0.86以下)と対比し、採用状況について報告する。
pylazaroはPyPI経由でインストールでき、readthedocsでドキュメント化され、HuggingFace Spacesでホストされたライブデモを通じて試すことができる。
関連論文リスト
- Low-Resource Language Processing: An OCR-Driven Summarization and Translation Pipeline [0.0]
本稿では,画像ベース文書からの多言語情報抽出と処理のためのエンドツーエンドスイートを提案する。
このシステムは、英語、ヒンディー語、タミル語などの言語でテキストを抽出するために光文字認識(Tesseract)を使用している。
現在の研究では、言語ギャップを埋め、異なる言語環境における画像メディアの情報へのアクセスを強化するために、ライブラリ、モデル、APIの現実的な応用が示されている。
論文 参考訳(メタデータ) (2025-05-16T12:20:37Z) - SpannerLib: Embedding Declarative Information Extraction in an Imperative Workflow [4.403628249330994]
このデモでは、Pythonコードにドキュメントスパンナーを埋め込むライブラリであるSpannerLibが紹介されている。
SpannerLibは、Spannerlog (Datalog-based documentpanners)の実装を提供することで、IEプログラムの開発を容易にする
デモシナリオでは、Jupyter Notebook内で、複雑さのレベルが増大したIEプログラムが紹介されている。
論文 参考訳(メタデータ) (2024-09-03T09:25:26Z) - LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。
我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
論文 参考訳(メタデータ) (2024-06-03T15:30:36Z) - Improving Automatic Text Recognition with Language Models in the PyLaia Open-Source Library [3.3484434195495605]
本稿では,信頼度スコアの組み入れと復号時の統計的言語モデリングの統合に着目した。
我々の実装は、異なるレベルでPyLaiaとn-gramの言語モデルを簡単に組み合わせる方法を提供する。
我々はPyLaiaの性能を言語モデリングと非言語モデルの両方で12のデータセットで評価した。
論文 参考訳(メタデータ) (2024-04-29T14:11:16Z) - pyvene: A Library for Understanding and Improving PyTorch Models via
Interventions [79.72930339711478]
$textbfpyvene$は、さまざまなPyTorchモジュールに対するカスタマイズ可能な介入をサポートするオープンソースライブラリである。
私たちは、$textbfpyvene$が、ニューラルモデルへの介入を実行し、他のモデルとインターバルされたモデルを共有するための統一されたフレームワークを提供する方法を示します。
論文 参考訳(メタデータ) (2024-03-12T16:46:54Z) - VNLP: Turkish NLP Package [0.0]
VNLPは、トルコ語のための最先端自然言語処理(NLP)パッケージである。
テキスト分割やテキスト正規化といった最も単純なタスクから、テキストやトークンの分類モデルといったより高度なタスクまで、幅広いツールが含まれている。
VNLPには、オープンソースのGitHubリポジトリ、ReadtheDocsドキュメント、便利なインストールのためのPyPiパッケージ、Python、コマンドラインAPIがある。
論文 参考訳(メタデータ) (2024-03-02T20:46:56Z) - Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。
解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。
実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文 参考訳(メタデータ) (2022-10-06T12:55:17Z) - PyHHMM: A Python Library for Heterogeneous Hidden Markov Models [63.01207205641885]
PyHHMM は Heterogeneous-Hidden Markov Models (HHMM) のオブジェクト指向Python実装である。
PyHHMMは、異種観測モデル、データ推論の欠如、異なるモデルの順序選択基準、半教師付きトレーニングなど、同様のフレームワークではサポートされない機能を強調している。
PyHHMMは、numpy、scipy、scikit-learn、およびシーボーンPythonパッケージに依存しており、Apache-2.0ライセンスの下で配布されている。
論文 参考訳(メタデータ) (2022-01-12T07:32:36Z) - Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。
XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。
実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文 参考訳(メタデータ) (2021-02-16T18:47:10Z) - Stanza: A Python Natural Language Processing Toolkit for Many Human
Languages [44.8226642800919]
我々は,オープンソースのPython自然言語処理ツールキットであるStanzaを紹介した。
Stanzaは、トークン化、マルチワードトークン拡張、レムマティゼーション、パート・オブ・音声、形態的特徴タグ付けなど、テキスト分析のための言語に依存しない完全なニューラルネットワークを備えている。
我々は、Universal Dependencies Treebanksや他の多言語コーパスを含む、合計112のデータセットでStanzaをトレーニングしました。
論文 参考訳(メタデータ) (2020-03-16T09:05:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。