論文の概要: Instate: Predicting the State of Residence From Last Name
- arxiv url: http://arxiv.org/abs/2303.06823v1
- Date: Mon, 13 Mar 2023 02:49:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:41:05.492805
- Title: Instate: Predicting the State of Residence From Last Name
- Title（参考訳）: Instate: 最後の名前から住居の状態を予測する
- Authors: Atul Dhingra, Gaurav Sood
- Abstract要約: 文字レベルのトランスフォーマーに基づく機械学習モデルを構築し、ラストネームに基づいて居住状況を予測する。
このモデルは、目に見えない名前でトップ3の精度85.3%である。
インド人の国勢調査を用いて各州を言語にマップし、応答者が理解した言語を推測する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: India has twenty-two official languages. Serving such a diverse language base
is a challenge for survey statisticians, call center operators, software
developers, and other such service providers. To help provide better services
to different language communities via better localization, we introduce a new
machine learning model that predicts the language(s) that the user can speak
from their name. Using nearly 438M records spanning 33 Indian states and 1.13M
unique last names from the Indian Electoral Rolls Corpus (?), we build a
character-level transformer-based machine-learning model that predicts the
state of residence based on the last name. The model has a top-3 accuracy of
85.3% on unseen names. We map the states to languages using the Indian census
to infer languages understood by the respondent. We provide open-source
software that implements the method discussed in the paper.
- Abstract（参考訳）: インドには22の公用語がある。
このような多様な言語基盤を実現することは、調査統計学者、コールセンターオペレーター、ソフトウェア開発者、その他のサービスプロバイダにとって課題である。
ローカライゼーションの改善を通じて、さまざまな言語コミュニティにより良いサービスを提供するために、ユーザが自分の名前から話せる言語を予測する新しい機械学習モデルを紹介します。
インドの33の州にまたがる約438万のレコードと、インドの選挙人ロールス社(?)の1.13万のユニークなラストネームを用いて、ラストネームに基づいて居住状態を予測する文字レベルのトランスフォーマーベースの機械学習モデルを構築した。
このモデルは、見えない名前で85.3%のtop-3精度を持つ。
インド人の国勢調査を用いて各州を言語にマップし、応答者が理解した言語を推測する。
本論文で論じる手法を実装したオープンソースソフトウェアを提供する。
関連論文リスト
- Fine-tuning Pre-trained Named Entity Recognition Models For Indian Languages [6.7638050195383075]
課題を分析し,インド語の多言語名称認識に適した手法を提案する。
主要な2つのインド語族から4つのインド語に対する40K文の注釈付きエンティティコーパスを提示する。
我々は、我々のモデルの有用性を裏付けるインド言語のための、全く見当たらないベンチマークデータセットにおいて、同等のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-05-08T05:54:54Z) - NusaWrites: Constructing High-Quality Corpora for Underrepresented and
Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。
データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。
本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文 参考訳（メタデータ） (2023-09-19T14:42:33Z) - ASR2K: Speech Recognition for Around 2000 Languages without Audio [100.41158814934802]
対象言語に音声を必要としない音声認識パイプラインを提案する。
私たちのパイプラインは、音響、発音、言語モデルという3つのコンポーネントで構成されています。
我々は、1909年の言語をCrubadanと組み合わせて、大きな絶滅危惧言語n-gramデータベースを構築した。
論文 参考訳（メタデータ） (2022-09-06T22:48:29Z) - IndicSUPERB: A Speech Processing Universal Performance Benchmark for
Indian languages [16.121708272597154]
インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。
一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。
言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
論文 参考訳（メタデータ） (2022-08-24T20:14:52Z) - Aksharantar: Open Indic-language Transliteration datasets and models for
the Next Billion Users [32.23606056944172]
Aksharantarは、モノリンガルコーパスとパラレルコーパスからのマイニングによって生成された、インド語のための最大公用翻訳データセットである。
データセットには、12のスクリプトを使用して、3つの言語ファミリーから21のIndic言語に対する2600万の文字ペアが含まれている。
Aksharantarは、既存のデータセットの21倍の大きさで、7つの言語と1つの言語ファミリーのための最初の公開データセットである。
論文 参考訳（メタデータ） (2022-05-06T05:13:12Z) - "A Passage to India": Pre-trained Word Embeddings for Indian Languages [30.607474624873014]
既存のアプローチを使って、14のインドの言語に複数の単語を埋め込みます。
これらすべての言語への組み込みを単一のリポジトリに配置します。
8つの異なるアプローチを使って、合計436のモデルをリリースします。
論文 参考訳（メタデータ） (2021-12-27T17:31:04Z) - Challenge Dataset of Cognates and False Friend Pairs from Indian
Languages [54.6340870873525]
コニャートは異なる言語で同じテキストの複数の変種に存在する。
本稿では,12言語を対象とした2つのコグネートデータセットの作成について述べる。
論文 参考訳（メタデータ） (2021-12-17T14:23:43Z) - Harnessing Cross-lingual Features to Improve Cognate Detection for
Low-resource Languages [50.82410844837726]
言語間単語埋め込みを用いた14言語間のコニャートの検出を実証する。
インドの12言語からなる挑戦的データセットを用いて,コニャート検出手法の評価を行った。
我々は,コグネート検出のためのFスコアで最大18%の改善点を観察した。
論文 参考訳（メタデータ） (2021-12-16T11:17:58Z) - CL-NERIL: A Cross-Lingual Model for NER in Indian Languages [0.5926203312586108]
本稿では,インドの言語を対象としたNERのエンドツーエンドフレームワークを提案する。
我々は、英語とインド語の並列コーパスと英語のNERデータセットを利用する。
Hindi、Bengali、Gujaratiの3言語に対して手動でアノテートしたテストセットを提示する。
論文 参考訳（メタデータ） (2021-11-23T12:09:15Z) - Multilingual Autoregressive Entity Linking [49.35994386221958]
mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。
与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。
提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
論文 参考訳（メタデータ） (2021-03-23T13:25:55Z) - Unsupervised Transfer Learning in Multilingual Neural Machine
Translation with Cross-Lingual Word Embeddings [72.69253034282035]
我々は、言語独立多言語文表現を活用し、新しい言語に容易に一般化する。
複数のロマンス言語を含むベースシステムを用いてポルトガル語から盲目的に復号し、ポルトガル語では36.4 BLEU、ロシア語では12.8 BLEUのスコアを得た。
非反復的逆翻訳によるより実用的な適応アプローチを探求し、高品質の翻訳を生産するモデルの能力を活用します。
論文 参考訳（メタデータ） (2021-03-11T14:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。