論文の概要: Language Detection by Means of the Minkowski Norm: Identification Through Character Bigrams and Frequency Analysis

• arxiv url: http://arxiv.org/abs/2507.16284v2
• Date: Wed, 23 Jul 2025 10:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 12:00:05.686782
• Title: Language Detection by Means of the Minkowski Norm: Identification Through Character Bigrams and Frequency Analysis
• Title（参考訳）: ミンコフスキーノルムの意味による言語検出:文字ビグラムによる識別と周波数解析
• Authors: Paul-Andrei Pogăcean, Sanda-Maria Avram,
• Abstract要約: 本研究では,モノグラムとビッグラムの周波数ランキングを利用した言語決定性アルゴリズムの数学的実装について検討する。 本手法は,150文字未満のテキストに対して80%以上の精度を達成し,長文に対して100%の精度を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The debate surrounding language identification has gained renewed attention in recent years, especially with the rapid evolution of AI-powered language models. However, the non-AI-based approaches to language identification have been overshadowed. This research explores a mathematical implementation of an algorithm for language determinism by leveraging monograms and bigrams frequency rankings derived from established linguistic research. The datasets used comprise texts varying in length, historical period, and genre, including short stories, fairy tales, and poems. Despite these variations, the method achieves over 80\% accuracy on texts shorter than 150 characters and reaches 100\% accuracy for longer texts. These results demonstrate that classical frequency-based approaches remain effective and scalable alternatives to AI-driven models for language detection.
• Abstract（参考訳）: 近年,AIを用いた言語モデルの急速な進化に伴い,言語識別に関する議論が注目されている。 しかし、非AIベースの言語識別アプローチは、隠蔽されている。 本研究は,確立された言語研究から得られたモノグラムとビッグラムの周波数ランキングを利用して,言語決定性のためのアルゴリズムの数学的実装について検討する。 使用されたデータセットは、短い物語、妖精の物語、詩など、長さ、歴史、ジャンルの異なるテキストで構成されている。 これらの変化にもかかわらず、150文字未満のテキストに対して80%以上の精度を達成し、長いテキストに対して100倍の精度に達する。 これらの結果は、古典的な周波数ベースのアプローチが、言語検出のためのAI駆動モデルに代わる、効果的でスケーラブルな代替手段であることを証明している。

関連論文リスト

• Adapting Multilingual Embedding Models to Historical Luxembourgish [5.474797258314828]
  本研究では,歴史的ルクセンブルク語における言語間セマンティック検索のための多言語埋め込みについて検討した。 文のセグメンテーションと翻訳にはGPT-4oを使用し、言語ペア毎に20,000の並列トレーニング文を生成する。 コントラスト学習や知識蒸留により,複数の多言語埋め込みモデルを適応させ,全てのモデルの精度を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-11T20:35:29Z)
• Who Writes the Review, Human or AI? [0.36498648388765503]
  本研究では,AIによる書評と人間による書評を正確に区別する手法を提案する。 提案手法は移動学習を利用して,異なるトピック間で生成したテキストを識別する。 実験の結果、元のテキストのソースを検出でき、精度96.86%に達することが示されている。
  論文  参考訳（メタデータ） (2024-05-30T17:38:44Z)
• MENTOR: Multilingual tExt detectioN TOward leaRning by analogy [59.37382045577384]
  本研究では,シーンイメージ内の視覚領域と見えない言語領域の両方を検出し,識別するフレームワークを提案する。 mentOR」は、ゼロショット学習と少数ショット学習の学習戦略を多言語シーンテキスト検出のために実現した最初の作品である。
  論文  参考訳（メタデータ） (2024-03-12T03:35:17Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Deep dive into language traits of AI-generated Abstracts [5.209583971923267]
  ChatGPTのような生成言語モデルは、人間のような文章を生成する能力に注意を向けている。 本研究では,ChatGPTが生成する抽象概念を,長さとバウンドがはるかに短い方法で検出しようと試みる。 テキストの意味的特徴と語彙的特性を抽出し、従来の機械学習モデルがこれらの抽象概念を確実に検出できることを観察する。
  論文  参考訳（メタデータ） (2023-12-17T06:03:33Z)
• Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text [1.919654267936118]
  従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。 結果は、メソッド間でのパフォーマンスにかなりの違いが示される。 この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
  論文  参考訳（メタデータ） (2023-11-21T06:23:38Z)
• A Transfer Learning Based Model for Text Readability Assessment in German [4.550811027560416]
  移動学習に基づくドイツ語テキストのテキスト複雑性評価のための新しいモデルを提案する。 最高のモデルはBERTの事前訓練言語モデルに基づいており、Root Mean Square Error (RMSE) は 0.483 である。
  論文  参考訳（メタデータ） (2022-07-13T15:15:44Z)
• Exploiting Language Model for Efficient Linguistic Steganalysis: An Empirical Study [23.311007481830647]
  言語ステガナリシスを効果的に行うための2つの方法を提案する。 1つはRNNに基づく言語モデルの事前トレーニングであり、もう1つはシーケンスオートエンコーダの事前トレーニングである。
  論文  参考訳（メタデータ） (2021-07-26T12:37:18Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。