論文の概要: When the Knowledge Base Becomes the Gold Standard: Measuring Resource-Shared Evaluation Loops in Entity-Level Machine Translation

• arxiv url: http://arxiv.org/abs/2608.11843v1
• Date: Wed, 12 Aug 2026 09:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.532608
• Title: When the Knowledge Base Becomes the Gold Standard: Measuring Resource-Shared Evaluation Loops in Entity-Level Machine Translation
• Title（参考訳）: 知識ベースがゴールドスタンダードになったとき:エンティティレベル機械翻訳における資源共有評価ループの測定
• Abstract要約: Seungjeongwon Ilgiはユネスコの世界記録であり、37.4%しか翻訳されていない。 我々は,韓国国立歴史研究所の専門的個人名アノテーションをインジェクションパイプラインから独立した金として利用している。 専門家による527の言及のうち、注入パイプラインの外にあるのは31.1%である。
• 参考スコア（独自算出の注目度）: 1.9638161652098338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Seungjeongwon Ilgi, a UNESCO Memory of the World record, is only 37.4% translated, and the most conspicuous failure mode in automatic translation is the person name -- a misread name corrupts the historical fact rather than merely the surface. Low-resource historical domains have no expert gold standard for entity translation, so practitioners substitute a knowledge base (KB) for the gold. That KB is the same resource injected into the system: scoring becomes self-referential and the metric measures instruction compliance rather than translation quality. We measure this loop. Using expert person-name annotations from the National Institute of Korean History as a gold independent of the injection pipeline, we hold the entity set fixed and vary only the provenance of the correct reading. Of 527 expert-annotated mentions, only 31.1% lie outside the injection pipeline, and the residual loop is not uniform -- in the overlapping segment the injected reading agrees with the human translation 97.8% of the time against 70.1% in the independent one, so the segment that looks healthiest is the one the loop is holding up. Across four models, a difference-in-differences analysis shows the gain from KB injection is confined to the segment whose gold shares the injected resource; in the independent segment it is at or below zero. Post-injection preservation clusters in a narrow 0.910-0.996 band even though baseline capability differs fivefold, so the reported gain is the complement of prior performance and weaker models appear to improve more dramatically. On an independent sample built by removing the construction filter, the measure replicates within model (overlapping intervals) while discriminating between models (non-overlapping intervals) -- it reflects a property of the model, not of the sample.
• Abstract（参考訳）: ユネスコの世界記録であるSungjeongwon Ilgiは37.4%しか翻訳されておらず、自動翻訳における最も顕著な失敗モードは人名である。 低資源の歴史的ドメインは、実体翻訳の専門的な金本位制を持たないため、実践者は金本位制の知識ベース(KB)を代用する。 KBはシステムに注入されたリソースと同じであり、スコアリングは自己参照となり、メートル法は翻訳品質よりも命令コンプライアンスを計測する。 私たちはこのループを測る。 韓国国立歴史研究所の専門的人名アノテーションをインジェクションパイプラインから独立した金として使用し、固定されたエンティティセットを保持し、正しい読み出しの証明だけを変える。 専門家による527の言及のうち、注入パイプラインの外側に31.1%しか存在せず、残りのループは均一ではない。重なり合う部分では、注入された読み出しの97.8%は、独立した部分の70.1%に対して人間の翻訳と一致している。 4つのモデル全体で、差分差分解析は、KB注入による利得は、注入された資源を共有する金のセグメントに限られていることを示している。 ベースライン性能は5倍だが, 細い0.910-0.996帯のポストインジェクション保存クラスターは5倍であり, 先行性能を補完し, 弱いモデルの方が劇的に改善した。 構築フィルタを除去して構築された独立したサンプルでは、この尺度はモデル(重複間隔)内で複製し、モデル(重複間隔ではない)を識別する -- サンプルではなく、モデルの特性を反映する。

関連論文リスト

• Beyond the Name: Demographic Leakage in De-Identified Résumés and Evaluation Artifacts in LLM Bias Audits [4.736836688901646]
  本研究では,9つのオープンウェイトモデルと620レサムモデルにおいて,言語フィールドの除去がリークを解消するか否かを検討する。 5つの民族的条件と3つのクエー・サリエンス層にまたがる非構造的散文を分離した。 目標グループの回復平均は0.757であり、高塩分下では1.000で飽和する。
  論文  参考訳（メタデータ） (2026-09-15T01:48:44Z)
• When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation [40.50995079894586]
  COMET,XCOMET,BERTScoreなどの標準指標は,人的文化的判断とほぼゼロあるいは負の相関を示した。 文化的推論を内包する強化学習フレームワークCuRILを提案する。
  論文  参考訳（メタデータ） (2026-09-08T02:39:50Z)
• Reliable Benchmarking of Artifact Detection in Computational Pathology: A Reproducibility and Uncertainty Analysis [1.8864137667201766]
  メソッド: このプロトコルは、テストセットサンプリング、トレーニング性、パーティション構成、文書化前処理の4つの変数ソースを定量化する。 拡散型人工物検出装置を独立に再構築し, 元の24スライディング分割と教師付きベースラインに対して評価した。 結果: 本手法の中枢機構は、補助的コントラスト項は、プールされたF1を0.673から0.688に改善し、第2シードで複製する。
  論文  参考訳（メタデータ） (2026-08-31T14:07:15Z)
• Does Splitting a Triage Decision Across Agents Hide Bias or Help Catch It? A Multi-Agent Simulation Study of LLM-Based Resource Allocation Under Audit Capacity Constraints [0.0]
  我々は、同じ決定がロール微分マルチエージェントパイプラインに分散されたとき、バイアスに何が起こるかを研究する。 2つの条件の間に偏りが生じる頻度について、測定可能な違いは見つからない。 バイアスが捕捉されるかどうかに監査能力が大きな、そして重大な影響を与えることが分かっています。
  論文  参考訳（メタデータ） (2026-08-07T08:25:53Z)
• Aligned in Form, Not in Meaning: The Comprehension - Containment Decoupling of LLM Safety in Low-Resource Bangla Derogatory Speech [0.0]
  6つのプロトコルで5つの大きな言語モデルをネイティブバングラ弁論音声(ガリ)で評価する。 本稿では, 現代安全アライメントが有害な意味ではなく, 高資源表面形状に結びついていることを提案する。
  論文  参考訳（メタデータ） (2026-08-03T23:09:19Z)
• Passing Coarse Marginal Checks Can Be Cheap: Persona Mixtures and Imprecise Treatment-Response Estimates in an LLM Persona Panel [0.0]
  戦略ゲームにおける16個の軽量人格条件付きGPT-4.1構成の固定パネルについて検討した。 変化は急激なインデクシングであったが、そのシェアは不確実性の仮定に依存していた。 結果は、1つの固定されたモデル・プロンプトパネルに関係し、人間の置換性を確立しない。
  論文  参考訳（メタデータ） (2026-08-02T04:10:11Z)
• Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering [0.0]
  Familiarity-probeスコアは、すべての家族で作られたエンティティとは分離される。 2つの家系でのペア実験では、ポーランドの質問ステムを英語に置き換えたとき、プローブは言語内AUROCの96-101%を保持している。 親しみのあるプローブは、前世代の棄権ゲートの間で競争している。
  論文  参考訳（メタデータ） (2026-07-15T08:06:59Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity [43.23157850664282]
  VOIR DIREは、米国と中国本土にまたがる、626の文化的にペアリングされたイメージプロンプトアーティファクトのマルチモーダルベンチマークである。 6つのMLLMにまたがって、バイアスは2つの障害に分解される。 本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。
  論文  参考訳（メタデータ） (2026-06-12T15:53:40Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval [42.66754319854329]
  我々は,刺激同期MEG-to-audio検索を監査フレームワークとして再放送した。 構造的ショートカット、ウィンドウレベルの刺激ロックされたエビデンス、ウィンドウ間のコンテキストアグリゲーションを使用します。 これらの結果は、脳から言語へのパフォーマンスは、単に報告されるのではなく、ソース属性であるべきだことを示唆している。
  論文  参考訳（メタデータ） (2026-05-23T11:23:39Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• A Causal View of Entity Bias in (Large) Language Models [42.64248130399508]
  ホワイトボックスとブラックボックスの設定の両方において,エンティティバイアスを軽減するための因果介入手法を提案する。 ホワイトボックス設定では,PLMのOOD性能を5.7ポイント,機械読解(MRC)を9.1ポイント向上させる。 ブラックボックス設定下では, 文脈内介入は, GPT-3.5の実体に基づく知識紛争を効果的に軽減し, MRCの正確な一致精度を最大20.5ポイント改善し, REの記憶率を最大17.6ポイント削減する。
  論文  参考訳（メタデータ） (2023-05-24T03:59:18Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。