論文の概要: Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs
- arxiv url: http://arxiv.org/abs/2606.24897v1
- Date: Mon, 08 Jun 2026 19:46:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-28 23:46:52.325131
- Title: Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs
- Title（参考訳）: 機械で見える人間には見えない:4つの生物医学書誌APIにまたがるUnicodeの忠実性の事前登録監査
- Abstract要約: この監査は、広く使われている4つのパブリックAPI(E-utilities、Crossref、OpenAlex、Semantic Scholar)をPubMed Central (PMC) JATS XMLに対して共通の根拠として仮定する。
したがって、文字レベルの忠実度はAPIに依存し、文書化されていないため、トークン化に敏感な書誌学、コーパス構築、LCM支援書面の文字レベルの指標に直接影響する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biomedical text mining, scientometrics, and the construction of training corpora for biomedical large language models (LLMs) all assume that the abstract text returned by a bibliographic API faithfully reproduces the published abstract. This pre-registered audit (OSF osf.io/269b5) tests that assumption for four widely used public APIs (PubMed E-utilities, Crossref, OpenAlex, Semantic Scholar) against PubMed Central (PMC) JATS XML as a common ground truth. From a complete enumeration of the PMC Open Access subset for 2024 (about 700,000 records), a simple random sample of 4,000 English-language research articles was drawn; for each, we recorded whether Unicode characters from four pre-specified classes present in the JATS abstract (typographic punctuation, mathematical/scientific symbols, Greek letters, special whitespace) were preserved by each API. Two systematic, deterministic losses met the pre-registered criterion (upper 95% CI bound below 5%): the PubMed AbstractText field preserved typographic punctuation in only 0.6% of eligible abstracts (95% CI 0.3-1.0%), and OpenAlex preserved special whitespace in 0% (0.0-0.4%). A blinded mechanism audit attributed the first loss to character substitution and the second to inverted-index serialization. Mathematical symbols and Greek letters were preserved faithfully (over 95%) by all four APIs. Separately, Crossref returned no abstract for 24.6% of papers (coverage 75.4%, 95% CI 74.1-76.7%), concentrated in specific publishers (Elsevier and ACS: 0%). Character-level fidelity is therefore API-dependent and undocumented: the same publisher-deposited JATS text carries different surface signatures depending on the serving API, with direct consequences for tokenization-sensitive bibliometrics, corpus construction, and character-level indicators of LLM-assisted writing.
- Abstract（参考訳）: バイオメディカルテキストマイニング、サイエントメトリクス、バイオメディカル大規模言語モデル(LLM)のトレーニングコーパスの構築は、すべて、書誌APIによって返される抽象テキストが発行された要約を忠実に再現していると仮定している。
この事前登録監査(OSF osf.io/269b5)では、広く使われている4つの公開API(PubMed Eユーティリティ、Crossref、OpenAlex、Semantic Scholar)を共通の根拠として、PubMed Central (PMC) JATS XMLに対して仮定する。
2024年の PMC Open Access サブセット(約70,000レコード)の完全な列挙から 4,000 個の英語研究項目の単純なランダムなサンプルを抽出し,各 API で JATS の抽象クラス(タイポグラフィ的句読点,数理・科学記号,ギリシャ文字,特殊白空間)に存在する 4 つの既定クラスのUnicode 文字が保存されているかを記録した。
2つの系統的、決定論的損失は、事前登録された基準(95% CIが5%未満)を満たした:PubMed AbstractTextフィールドは、許容可能な抽象項目のわずか0.6%(95% CI 0.3-1.0%)で、OpenAlexは0%(0.0-0.4%)で特別なホワイトスペースを保存した。
ブラインドされたメカニズム監査では、第1の損失は文字置換、第2の損失は逆インデックスシリアライゼーションであった。
数学的な記号とギリシア文字は、すべての4つのAPIによって(95%以上)忠実に保存された。
クロスリーフは24.6%の論文(75.4%、95%CI 74.1-76.7%)の要約を返さず、特定の出版社(Elsevier と ACS: 0%)に集中した。
したがって、キャラクタレベルの忠実さはAPIに依存しており、文書化されていない。同じパブリッシャで記述されたJATSテキストは、トークン化に敏感な書式、コーパス構成、LCM支援書面の文字レベルの指標に直接影響して、サーフェスAPIによって異なる表面シグネチャを持つ。
関連論文リスト
- Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳（メタデータ） (2026-08-26T22:56:24Z) - Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion [0.0]
ストイチェア (Stoicheia) は古代ギリシアの文字レベルのマスク付き拡散エンコーダである。
オープンでリビジョンされた380万ワードのコーパスで事前トレーニングを行い、11個のチェックポイントをリリースする。
イサカ自身のテスト分割では、同じ凍結サンプルと厳密なスコアで、Stoicheiaは両方の従来の最先端システムと比較して文字エラーを減らす。
論文 参考訳（メタデータ） (2026-08-07T14:07:43Z) - Analyzing and Encoding the Al-Mawrid Arabic-English Dictionary with the ISO Language Markup Framework and TEI Lex-0 [1.1267872663780352]
本稿ではアラビア語辞書Al-Mawridの体系的デジタル化と符号化のための堅牢な方法論を提案する。
従来の印刷資源から標準化された計算語彙に変換する。
辞書のマクロ構造とミクロ構造に編集ビューを適用することにより、20世紀のバイリンガル辞書に典型的な構造的曖昧さと不整合を解消する。
論文 参考訳（メタデータ） (2026-06-16T17:35:11Z) - TopVenues: A Reproducible Corpus and Tooling Substrate for Cybersecurity Literature Reviews [0.589889361990138]
本稿では,コーパス構築をアーティファクトとして実現したオープンソースシステムであるTopVenuesについて述べる。
2017年から2026年までの11のサイバーセキュリティソースから9,925件の論文があり、99.86%の要約と99.99%のBibVenueカバレッジがある。
固定分母は、また測定が可能であり、2024年から2025年の4つの上位セキュリティ会議からの29.2%の論文は、出版の5ヶ月前のarXivプリプリントとして表示され、前者が記録したフィルターは、後に同じ会場に表示される16.5倍の精度でトリアージプリプリントを取得できる。
論文 参考訳（メタデータ） (2026-06-16T13:54:50Z) - How Non-Linguistic Is the Indus Sign System? A Synthetic-Baseline Scorecard [0.913755431537592]
本稿では,インダス・バレーの符号体系が音声言語を符号化するかどうかを検証するための多次元識別フレームワークを提案する。
このフレームワークをICIT/Yajnadevamのデジタル化から1,916の非重複の碑文に適用すると、Indus corpusはどちらのベースラインともきれいに一致しないことがわかった。
また、Sproat(2014)データセットを含む7つの実世界の非言語コーパスを比較し、証明された非言語系が完全なIndus統計プロファイルを再現していないことを発見した。
論文 参考訳（メタデータ） (2026-04-20T05:29:56Z) - Identifying Evidence-Based Nudges in Biomedical Literature with Large Language Models [2.2015514798912412]
我々は、非構造化バイオメディカル文献から証拠に基づく行動分類を識別し、抽出するスケーラブルなAI駆動システムを提案する。
栄養は微妙で非強制的な介入であり、選択を制限することなく行動に影響を与える。
論文 参考訳（メタデータ） (2026-02-10T22:36:07Z) - HySemRAG: A Hybrid Semantic Retrieval-Augmented Generation Framework for Automated Literature Synthesis and Methodological Gap Analysis [55.2480439325792]
HySemRAGは、Extract, Transform, Load (ETL)パイプラインとRetrieval-Augmented Generation (RAG)を組み合わせたフレームワークである。
システムは、マルチ層アプローチを通じて既存のRAGアーキテクチャの制限に対処する。
論文 参考訳（メタデータ） (2025-08-01T20:30:42Z) - Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。
属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。
我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
論文 参考訳（メタデータ） (2025-02-06T21:58:48Z) - Detecting automatically the layout of clinical documents to enhance the
performances of downstream natural language processing [53.797797404164946]
我々は,臨床用PDF文書を処理し,臨床用テキストのみを抽出するアルゴリズムを設計した。
このアルゴリズムは、PDFを使った最初のテキスト抽出と、続いてボディテキスト、左書き、フッタなどのカテゴリに分類される。
それぞれのセクションのテキストから興味ある医学的概念を抽出し,医療的パフォーマンスを評価した。
論文 参考訳（メタデータ） (2023-05-23T08:38:33Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。
入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
論文 参考訳（メタデータ） (2021-09-12T19:33:34Z) - Near-imperceptible Neural Linguistic Steganography via Self-Adjusting
Arithmetic Coding [88.31226340759892]
本稿では,ニューラルネットワークモデルに基づく自己調整型算術符号を用いた秘密メッセージを符号化する新しい言語ステガノグラフィー手法を提案する。
人間の評価によると、生成されたカバーテキストの51%は、実際に盗聴器を騙すことができる。
論文 参考訳（メタデータ） (2020-10-01T20:40:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。