論文の概要: PyReprism: A Shared Lexical Foundation for Polyglot Code Analysis

• arxiv url: http://arxiv.org/abs/2610.39224v1
• Date: Thu, 29 Oct 2026 02:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 07:31:17.077676
• Title: PyReprism: A Shared Lexical Foundation for Polyglot Code Analysis
• Title（参考訳）: PyReprism: 多言語コード分析のための共有語彙基盤
• Abstract要約: PYREPRISMはオープンソースのPythonライブラリであり、言語固有の語彙処理と再利用可能な分析を分離するコマンドラインツールである。 187言語が組み込まれており、言語固有の宣言は16行の中央値を持ち、言語が共有分析をオーバーライドすることはない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empirical studies of polyglot repositories apply the same analyses to every language of a corpus, such as separating code from comments, computing metrics, normalizing identifiers, and screening for duplicated code. Assembling them from specialized tools introduces differences in language coverage, measurement conventions, and workflows. We present PYREPRISM, an open-source Python library and command-line tool that separates language-specific lexical processing from reusable analyses: each language declares its lexical surface, which yields a lossless stream of typed tokens, and every analysis is implemented once on that stream. Across 187 built-in languages, language-specific declarations have a median length of 16 lines, and no language overrides a shared analysis. Against a reference parser, comment and string classification reach F1 scores of 0.994 and 0.958 on 1,412 files in 12 languages that were never used to develop the tokenizer. In a study of a polyglot repository, one tool replaces three; with matched inputs and analysis operations, it takes 2.9s instead of 8.7s on one core. We also characterize where lexical analysis falls short, in complexity estimation and clone screening. Tool: https://github.com/unlv-evol/PyReprism Video: https://youtu.be/IXc-NP5t4GU
• Abstract（参考訳）: ポリグロットリポジトリの実証的研究は、コメントからのコード分離、計算メトリクス、識別子の正規化、重複コードのスクリーニングなど、コーパスのすべての言語に同じ分析を適用している。 専門的なツールから組み立てることによって、言語カバレッジや測定規約、ワークフローの違いがもたらされる。 PYREPRISMは、オープンソースのPythonライブラリで、言語固有の語彙処理と再利用可能な分析を分離するコマンドラインツールである。 187言語が組み込まれており、言語固有の宣言は16行の中央値を持ち、言語が共有分析をオーバーライドすることはない。 参照パーサに対して、コメントと文字列の分類は、トークンライザの開発に使用されていない12言語で1,412ファイルのF1スコアが0.994と0.958に達する。 ポリグロットレポジトリの研究では、ひとつのツールが3つを置き換え、マッチした入力と分析操作で1コアの8.7ではなく2.9秒を要した。 また、複雑性推定やクローンスクリーニングにおいて、語彙解析が不足している部分も特徴付ける。 ツール: https://github.com/unlv-evol/PyReprism Video: https://youtu.be/IXc-NP5t4GU

関連論文リスト

• Code-Switching Spoken Language Identification as Multi-Label Set Prediction [53.57519778582482]
  Code-switched (CS) 音声リークは、巨大な音声コーパスをキュレートするために使用されるモノリンガル言語識別フィルタを通して行われる。 発話レベルCS-LIDを多ラベル言語セット予測として定式化し,発話中の言語を直接出力するセット生成器を提案する。 本分析では, CS-LIDの基調性, しきい値不安定性, CSトレーニングデータにおける言語バイアス, 合成と現実のギャップなど, 頑健なCS-LIDの鍵となる障害を明らかにした。
  論文  参考訳（メタデータ） (2026-10-01T10:46:44Z)
• QQ: A Toolkit for Language Identifiers and Metadata [7.607054209125189]
  統一言語メタデータ管理のための軽量PythonツールキットQwanQwaを紹介する。 QwanQwaは複数の言語リソースを単一のインターフェースに統合する。 言語識別子間の適切な正規化とマッピングを提供する。
  論文  参考訳（メタデータ） (2026-02-28T12:29:45Z)
• TurkicNLP: An NLP Toolkit for Turkic Languages [6.156016907917316]
  TurkicNLPはPythonライブラリで、トルコ語のための単一の一貫したNLPパイプラインを提供する。 トークン化、形態解析、部分音声タグ付け、依存性解析、名前付きエンティティ認識、双方向スクリプトの文字変換、機械翻訳をカバーしている。
  論文  参考訳（メタデータ） (2026-02-22T13:08:21Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes [0.2538209532048867]
  オルソゴン構造プローブ(Limisiewicz and Marevcek, 2021)では、特定の言語的特徴についてこの疑問に答えることができる。 InmBERTの文脈表現を符号化した構文(UD)と語彙(WordNet)構造情報を9つの多言語で評価した。 ゼロショットと少数ショットのクロスランガル構文解析にこの結果を適用した。
  論文  参考訳（メタデータ） (2021-09-10T15:03:11Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Multi-SimLex: A Large-Scale Evaluation of Multilingual and Cross-Lingual Lexical Semantic Similarity [67.36239720463657]
  Multi-SimLexは、12の異なる言語のデータセットをカバーする大規模な語彙リソースと評価ベンチマークである。 各言語データセットは、意味的類似性の語彙的関係に注釈付けされ、1,888のセマンティック・アライメント・コンセプト・ペアを含む。 言語間の概念の整合性のため、66の言語間セマンティック類似性データセットを提供する。
  論文  参考訳（メタデータ） (2020-03-10T17:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。