論文の概要: Loanword or Switch? The Annotation Boundary, Not the Model, Drives Kazakh-Russian Code-Switching Identification
- arxiv url: http://arxiv.org/abs/2608.00581v1
- Date: Sat, 01 Aug 2026 10:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.785378
- Title: Loanword or Switch? The Annotation Boundary, Not the Model, Drives Kazakh-Russian Code-Switching Identification
- Title(参考訳): Loanword or Switch? The Annotation Boundary, not the Model, Drives Kazakh- Russian Code-Switching Identification
- Abstract要約: カザフ語内のロシアの借用語は、共有されたキリル文字の下でコードスイッチのように見えます。
我々は、カザフ語として借入を統合的に維持する文書レベルの金のLIDセットを公開し、節レベルのスイッチを混合する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Off-the-shelf LID and letter heuristics over-label Kazakh-Russian social text as mixed: Russian loanwords inside Kazakh look like code-switching under a shared Cyrillic script. We release a document-level gold LID set whose guideline keeps integrated borrowings as Kazakh and reserves mixed for clause-level switches, plus a mixed-only sentiment pool used after LID in a filter-first cascade. On a shared LID test, FastText, Lingua, raw and windowed HeLI, character-trigram NB, and XLM-R range from weak to strong performance. The gap shows the bottleneck is the loanword-vs-switch annotation boundary, not model class alone.
- Abstract(参考訳): カザフ語とロシア語のソーシャルテキストは混ざり合っている:カザフ語内部のロシアの借用語は、キリル文字を共有するコードスイッチのように見えます。
我々は,カザフ語による借入と節レベルの切替のための準備が混在している文書レベルの金のLIDセットと,フィルタファーストカスケードにおけるLID後に使用する混合的な感情プールを発売する。
共有LIDテストでは、FastText、Lingua、生とウインドウのHeLI、キャラクタトリグラムNB、XLM-Rは弱いパフォーマンスから強いパフォーマンスまで幅がある。
このギャップは、モデルクラス単独ではなく、ローンワード-vs-switchアノテーション境界であることを示している。
関連論文リスト
- TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。
TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
論文 参考訳(メタデータ) (2026-08-08T04:50:00Z) - Job Skill Extraction via LLM-Centric Multi-Module Framework [51.37063712967151]
本稿では,意味検索,文脈内学習,教師付き微調整を組み合わせたLLM中心のフレームワークであるSRICLを提案する。
SRICLは、6つの公的なスパンラベル付きジョブアド文のコーパスにおいて、GPT-3.5よりも相当なSTRICT-F1の改善を達成し、ベースラインを加速し、無効なタグと幻覚したスパンを激減する。
論文 参考訳(メタデータ) (2026-04-23T10:46:07Z) - KazakhOCR: A Synthetic Benchmark for Evaluating Multimodal Models in Low-Resource Kazakh Script OCR [0.0]
カザフ語は、アラビア語、キリル文字、ラテン文字を用いており、光学文字認識(OCR)の点でユニークである。
低リソースのKazakhスクリプトのためのOCRの開発は非常に少なく、アラビア語とラテン文字のOCRベンチマークや画像は存在しない。
実OCRタスクを模倣するために,フォント,色,雑音の3つのスクリプトに対して,合成した7,219のOCRデータセットを構築した。
論文 参考訳(メタデータ) (2026-02-17T14:24:49Z) - Can Large Language Models Understand, Reason About, and Generate Code-Switched Text? [26.210664542372168]
コードスイッチングは多言語通信において広く普及する現象であるが、混合言語環境における大規模言語モデル(LLM)の堅牢性は未だ十分に理解されていない。
我々は,16種類の並列コード切替言語ペアの変種からなる,高品質なヒューマンアノテーションを備えた新しいベンチマークであるCodeMixQAを紹介する。
コードスイッチングされた質問応答タスクにおけるLCMの推論動作を分析し、混合言語入力に対するモデル処理と推論の仕方について光を当てる。
論文 参考訳(メタデータ) (2026-01-12T02:52:38Z) - Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。
シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。
我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
論文 参考訳(メタデータ) (2025-09-18T08:14:34Z) - COMI-LINGUA: Expert Annotated Large-Scale Dataset for Multitask NLP in Hindi-English Code-Mixing [1.2242530642524063]
COMI-lingUAは、ヒンディー語と英語のコード混成データセットとしては最大である。
5つのコアNLPタスクにわたる125K以上の高品質なインスタンスで構成されている。
各インスタンスには3つのバイリンガルアノテーションがアノテートされ、376K以上の専門家アノテーションが生成される。
論文 参考訳(メタデータ) (2025-03-27T16:36:39Z) - Low-resource Machine Translation for Code-switched Kazakh-Russian Language Pair [4.445432761373431]
ラベル付きデータを持たないコードスイッチトしたカザフスタン語対のための機械翻訳モデルを構築する方法を提案する。
カザフ語とロシア語の並列コーパスを切り替えた最初の符号とその評価結果を示す。
論文 参考訳(メタデータ) (2025-03-25T18:46:30Z) - Splintering Nonconcatenative Languages for Better Tokenization [4.496923806879088]
本稿では,テキストを線形形式に再構成する前処理ステップであるSPLINTERを提案する。
我々は、ヘブライ語、アラビア語、マレー語におけるトークン語彙を評価する本質的な尺度を用いて、そのメリットを実証する。
論文 参考訳(メタデータ) (2025-03-18T17:11:09Z) - MaskLID: Code-Switching Language Identification through Iterative Masking [53.56700754408902]
MaskLID (MaskLID) は、単純だが効果的なコードスイッチング(英語版) (CS) 言語識別 (LID) 方式である。
MaskLIDはいかなる訓練も必要とせず、現在の高性能の文レベルLIDを補完するように設計されている。
論文 参考訳(メタデータ) (2024-06-10T13:44:29Z) - Beyond Arabic: Software for Perso-Arabic Script Manipulation [67.31374614549237]
ペルソ・アラビア文字を使用する言語の書き起こしシステムを操作するための有限状態トランスデューサ(FST)コンポーネントとそれに対応するユーティリティのセットを提供する。
ライブラリはまた、単純なFSTベースのロマン化と文字変換も提供する。
論文 参考訳(メタデータ) (2023-01-26T20:37:03Z) - Improving Bilingual Lexicon Induction with Cross-Encoder Reranking [31.142790337451366]
BLICEr (BLI with Cross-Encoder Re rank) と呼ばれる新しい半教師付きポストホックリグレード法を提案する。
鍵となる考え方は、mPLMから言語間の語彙的知識を抽出し、元のCLWEと組み合わせることである。
BLICErは、多様な言語にまたがる2つの標準BLIベンチマークで、新しい結果を確立している。
論文 参考訳(メタデータ) (2022-10-30T21:26:07Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳(メタデータ) (2022-05-07T13:44:28Z) - Letter-level Online Writer Identification [86.13203975836556]
我々は文字レベルのオンラインライタIDという新たな問題に焦点をあてる。
主な課題は、しばしば異なるスタイルで手紙を書くことである。
我々はこの問題をオンライン書記スタイルのばらつき(Var-O-Styles)と呼ぶ。
論文 参考訳(メタデータ) (2021-12-06T07:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。