論文の概要: When Opposite Premises Translate Identically: A Source-Conditioned Diagnostic for Multilingual Commonsense Items
- arxiv url: http://arxiv.org/abs/2610.24428v1
- Date: Sat, 17 Oct 2026 03:44:31 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:54:51.231839
- Title: When Opposite Premises Translate Identically: A Source-Conditioned Diagnostic for Multilingual Commonsense Items
- Title(参考訳): 仮説が一意に翻訳されるとき:多言語コモンセンス項目のソースコンディション診断
- Abstract要約: 本稿では,ACCORD施設のソースコントラスト診断について検討する。
スワヒリには63、113、67の正確な衝突があり、チェックポイントごとに710対の衝突がある。
- 参考スコア(独自算出の注目度): 9.063403811544994
- License:
- Abstract: Multilingual reasoning comparisons depend on translated premises preserving the relations in their English sources. Automatic translation scores can rank source-target pairs, but an acceptance decision alone cannot certify a counterfactual benchmark field. We test a source-contrast diagnostic for ACCORD premises: reverse the English polarity, translate both arms independently, count identical target outputs, and score each arm against its own source. Across 71 matched question identities at two containing-item depths, five target languages, and three translation checkpoints, Swahili has 63, 113, and 67 exact collisions among 710 pairs per checkpoint. At a human-reference-calibrated threshold, round-trip NLI passes both arms of 3 of the 113 NLLB-3.3B collisions, while LaBSE passes 78. Each collision proves at least one unfaithful translation, but does not identify its arm. These controlled measurements do not establish screening accuracy on spontaneous translation errors or a language-by-hop reasoning effect; the study has no native equivalence labels or answer-model evaluation.
- Abstract(参考訳): 多言語推論の比較は、英語ソースの関連性を保存するための翻訳された前提に依存している。
自動翻訳スコアは、ソースとターゲットのペアをランク付けすることができるが、受け入れ決定だけでは、反ファクトなベンチマークフィールドを認定することはできない。
我々は、ACCORD前提のソースコントラスト診断を検証し、英語の極性を逆転させ、両腕を独立に翻訳し、同一の目標出力をカウントし、各腕をそれぞれのソースに対してスコア付けする。
71を超える質問は、2つの包含深さ、5つのターゲット言語、3つの翻訳チェックポイントで一致し、スワヒリには63、113、67の正確な衝突がある。
人間の基準値の閾値では、ラウンドトリップのNLIは113のNLLB-3.3B衝突のうち3本の腕を通過させ、LaBSEは78を通過させる。
各衝突は少なくとも1つの不誠実な翻訳を証明しているが、腕を特定できない。
これらの制御された測定は、自発的な翻訳誤りや言語・バイ・ホップ推論効果のスクリーニング精度を確立していない。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳(メタデータ) (2026-10-13T16:19:49Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳(メタデータ) (2026-09-27T13:01:02Z) - GYROval: A Robust Benchmark for Cultural Value Orientation in Large Language Models [70.36032466145112]
GYROvalは、大きな言語モデルにおける文化的価値の向きを測定するためのベンチマークである。
また、20モデルのうち11モデルが同じ項目の対訳と第2のサンプリング温度を施した。
論文 参考訳(メタデータ) (2026-09-16T09:38:38Z) - Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI [0.0]
我々は15のアフリカ諸言語にまたがる自然言語の推論について検討した。
AfriXNLIはXNLIに由来するため、英語、フランス語、スワヒリの構成はXNLIで訓練されたモデルのクリーンな評価には役立たない。
我々の中心的な方法論的発見は、表現統計学は、ある計算的利益の概念に対して統計的に有意であり、他方とは無関係であるということである。
論文 参考訳(メタデータ) (2026-08-19T15:03:51Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification [0.14323566945483496]
オープンウェイト言語モデルは微調整され、量子化され、刈り取られ、マージされるが、その成果はしばしば文書化されていない。
重みだけで、2つの互換性のあるモデルチェックポイントが祖先を共有するかどうかを明らかにすることができるのか?
残差ブロック間でチェックポイント固有の構造を比較し、独立したチェックポイントに対して調整された対称なシークエンススコアを得る。
論文 参考訳(メタデータ) (2026-08-14T22:36:58Z) - M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。
80以上の構成で50以上のモデルを評価しました。
論文 参考訳(メタデータ) (2026-08-04T15:16:05Z) - Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
意味論的に同一の命令応答対を23言語で実験する。
その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
論文 参考訳(メタデータ) (2026-07-16T01:53:09Z) - What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval [42.66754319854329]
我々は,刺激同期MEG-to-audio検索を監査フレームワークとして再放送した。
構造的ショートカット、ウィンドウレベルの刺激ロックされたエビデンス、ウィンドウ間のコンテキストアグリゲーションを使用します。
これらの結果は、脳から言語へのパフォーマンスは、単に報告されるのではなく、ソース属性であるべきだことを示唆している。
論文 参考訳(メタデータ) (2026-05-23T11:23:39Z) - Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。
提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
論文 参考訳(メタデータ) (2022-05-20T10:29:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。