論文の概要: Same Entity, Different Script: Diagnosing Cross-Script Entity Matching Failures in Language Models
- arxiv url: http://arxiv.org/abs/2610.31407v1
- Date: Thu, 22 Oct 2026 15:09:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.420342
- Title: Same Entity, Different Script: Diagnosing Cross-Script Entity Matching Failures in Language Models
- Title（参考訳）: 同じエンティティ、異なるスクリプト:言語モデルにおけるクロススクリプトエンティティマッチング失敗の診断
- Abstract要約: 言語モデルは、同一人物の名前が異なるスクリプトで書かれた場合、異なるアイデンティティ判断を与えることができる。
我々はこの効果を,証明されたデバナガリとラテン形式の601個の監査済みIDペアを用いて検討した。
- 参考スコア（独自算出の注目度）: 1.13090644412493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual language models can give different identity judgments when the same people's names are written in different scripts. We study this effect using 601 audited identity pairs with attested Devanagari and Latin forms, holding the question and relation fixed. Qwen2.5-7B's same-person accuracy falls from 35.1% in Latin to 8.5% in Devanagari under Marathi prompts, while different-person accuracy remains above 98%. Evaluation across five models reveals distinct response biases, and reduced tokenization fragmentation does not reliably close the gap. Replicating the design on 374 audited Malayalam pairs built from the same entities reproduces the effect in a second script and language family: same-person accuracy falls to 5.3%, about half the matched Devanagari rate, while the margin still ranks matching above non-matching names at 0.925 AUROC. Latin-trained probes recover label information from Devanagari states, exceeding a string-feature baseline under similarity-matched negatives. Scalar calibration recovers 87% of the raw model-probe balanced-accuracy gap, identifying decision criterion placement as a major contributor. Activation patching localises causal sensitivity to the second entity in Qwen's middle layers; one shared sensitivity direction transfers about half the full-state margin correction. A fact-independent intervention at this site raises held-out Marathi same-person accuracy from 6.5% to 33.5%, with 98.5% different-person accuracy. Together, these results distinguish script-dependent discrimination from criterion placement and identify a causal site for improving identity judgments.
- Abstract（参考訳）: 多言語言語モデルは、同一人物の名前が異なるスクリプトで書かれた場合、異なる識別判断を与えることができる。
この効果を,証明されたデバナガリとラテン形式の601個の監査済みIDペアを用いて検討し,その問題と関係を定式化した。
Qwen2.5-7Bの同一人物の精度はラテン語では35.1%からマラーティの指示でデヴァナガリでは8.5%に低下するが、異なる人物の精度は98%以上である。
5つのモデルで評価すると、異なる応答バイアスが示され、トークン化の断片化が確実にギャップを埋めるわけではない。
同じエンティティから作られた374の監査済みマラヤラムペアの設計を再現すると、第2のスクリプトと言語ファミリーでの効果が再現される: 同一人物の精度は5.3%、一致したデヴァナガリの比率の約半分に低下する。
ラテントレーニングされたプローブは、類似性にマッチした負の下で、文字列機能ベースラインを超えるデヴァナガリ状態からラベル情報を復元する。
スカラーキャリブレーションは、モデルのバランスの取れた精度ギャップの87%を回復し、意思決定基準の設定を主要なコントリビュータとして特定する。
活性化パッチは、Qwenの中層における第2の実体に対する因果感受性を局所化し、1つの共有感度方向はフルステートマージン補正の約半分を伝達する。
事実に依存しない介入により、マラタイの同一人物の精度は6.5%から33.5%に上昇し、98.5%は異なる人物の精度である。
これらの結果から,スクリプト依存的識別と基準配置を区別し,同一性判定を改善するための因果的部位を同定した。
関連論文リスト
- When Opposite Premises Translate Identically: A Source-Conditioned Diagnostic for Multilingual Commonsense Items [9.063403811544994]
本稿では,ACCORD施設のソースコントラスト診断について検討する。
スワヒリには63、113、67の正確な衝突があり、チェックポイントごとに710対の衝突がある。
論文 参考訳（メタデータ） (2026-10-17T03:44:31Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Benchmarking candidate coverage and rejection policy transfer in typed decision models [7.736174008951463]
公開参照ラベルを用いてLaya,Jev,Qwen2.5-7B-Instructを比較した。
ソースキャリブレーションは、しばしばターゲットの動作点を保存するのに失敗する。
10の意図的候補を持つLayaは、スコープ外クエリの99.0%を検出するが、カバークエリの48.8%を拒否する。
論文 参考訳（メタデータ） (2026-10-02T14:36:46Z) - Aggregate accuracy conceals concentrated temporal vulnerability in a spiking speech classifier [0.0]
集約精度は、どの発話が局所的に脆弱であるか、ラベルが安定していればどのように内部活動が変化するかを明らかにすることはできない。
凍結したSpikeSCR分類器の約100の検証発話について, 隣接ビン725,070の予測を全て保持する。
論文 参考訳（メタデータ） (2026-10-02T11:27:03Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study [0.0]
本研究は,多言語埋め込みモデルが正しい英語-ギリシャ語翻訳を区別できるかどうかを考察する。
10コアに1,850のサンプルと5つの探索エラーカテゴリが含まれている。
埋め込みモデルは、テンソル・アンド・アスペクトや代名詞・基準誤差よりも明確な事実・語彙的変化を確実に検出した。
論文 参考訳（メタデータ） (2026-08-28T18:32:54Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。