論文の概要: Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI

• arxiv url: http://arxiv.org/abs/2608.19003v1
• Date: Wed, 19 Aug 2026 15:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.436034
• Title: Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI
• Title（参考訳）: 構造, 関連, 決定値:アフリカ言語NLIにおける適応推論のための表現に基づく難易度推定
• Abstract要約: 我々は15のアフリカ諸言語にまたがる自然言語の推論について検討した。 AfriXNLIはXNLIに由来するため、英語、フランス語、スワヒリの構成はXNLIで訓練されたモデルのクリーンな評価には役立たない。 我々の中心的な方法論的発見は、表現統計学は、ある計算的利益の概念に対して統計的に有意であり、他方とは無関係であるということである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask whether internal representation statistics can provide useful example-level difficulty signals for adaptive inference in multilingual African NLP, and find that they cannot in this setting. Studying natural language inference across 15 African languages with frozen off-the-shelf checkpoints, we report four results. First, AfriXNLI's English configuration shares 1,047 of its 1,050 examples verbatim with XNLI evaluation data, and one widely used NLI checkpoint scores 1.000 on that test split, consistent with XNLI test exposure. Because AfriXNLI is derived from XNLI, its English, French and Swahili configurations cannot serve as clean evaluations for XNLI-trained models. Second, parameter count does not reliably order capability across African languages: our larger checkpoint is better in seven languages and worse in eight, with no significant aggregate difference. Third, across three multilingual representation spaces, angular dispersion is consistently more language-determined than effective rank, so pooled correlations can inflate one and mask the other. Fourth, the association that survives language control depends on the target: effective rank predicts probability gain from escalation but not whether escalation changes the prediction, while cheap-model confidence shows the opposite pattern; the two targets correlate at only 0.655. Under the tested models, signals, and compute budgets, no evaluated signal makes adaptive routing preferable to always-expensive inference, although an oracle exceeds it by 11 accuracy points at 60% of the compute. Our central methodological finding is that a representation statistic can be statistically significant for one notion of computational benefit while being irrelevant to another, and therefore be a poor decision variable.
• Abstract（参考訳）: 内部表現統計学は、多言語アフリカNLPにおける適応推論に有用なサンプルレベルの難易度信号を提供することができるかどうかを問う。 凍結したチェックポイントを持つ15のアフリカの言語を対象とした自然言語推論について検討し,4つの結果を得た。 まず、AfriXNLIの英語構成は、その1,050例のうち1,047点をXNLI評価データと共有し、広く使われている1つのNLIチェックポイントスコアは、XNLIテスト露出と整合してテストスプリットで1.000点である。 AfriXNLIはXNLIに由来するため、英語、フランス語、スワヒリの構成はXNLIで訓練されたモデルのクリーンな評価には役立たない。 第二に、パラメータカウントはアフリカの言語全体で確実に順序付けできない: 我々のより大きなチェックポイントは7言語で良く、さらに8言語で悪いが、大きな集合差はない。 第三に、3つの多言語表現空間において、角分散は有効ランクよりも言語によって決定されるので、プール付き相関は一方を膨らませ、もう一方を覆い隠すことができる。 有効ランクはエスカレーションから確率ゲインを予測するが、エスカレーションが予測を変えるかどうかを予測せず、安価なモデル信頼度は反対のパターンを示し、両者の相関は0.655である。 テストされたモデル、信号、計算予算の下では、評価された信号は、常に拡張的な推論よりも適応的なルーティングを好まないが、オラクルは計算の60%で11の精度ポイントを超える。 我々の中心的な方法論的発見は、ある表現統計学が、ある計算的利益の概念に対して統計的に有意でありながら、他方とは無関係であり、したがって決定変数が貧弱であるということである。

関連論文リスト

• Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs [0.0]
  表面流速から4つの現象を分離する最小ペアのベンチマークであるJ-PragEval-v0を紹介する。 線形プローブと教師による対数確率評価を組み合わせて、TinySwallow-1.5B内のどのコントラストがライブであるかを問う。
  論文  参考訳（メタデータ） (2026-08-14T21:04:21Z)
• Sample-Size Scaling of the African Languages NLI Evaluation [0.9134244356393665]
  この研究は、AfriXNLIベンチマークに基づく16のアフリカ言語における自然言語推論(NLI)の体系的なサンプルサイズスケーリング研究である。 約0.6Bパラメータを持つ2つの多言語トランスフォーマーモデル XLM-R Large を XNLI と AfroXLM-R Large で微調整し、50から500のラベル付きサンプルサイズで試験した。 データの増加に伴う単調な増加という通常の信念とは対照的に、強い言語に敏感で、しばしば非単調なスケーリングの振る舞いを見出す。
  論文  参考訳（メタデータ） (2026-06-02T06:27:16Z)
• Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
  大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。 対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。 本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
  論文  参考訳（メタデータ） (2026-02-02T16:27:32Z)
• Can Embedding Similarity Predict Cross-Lingual Transfer? A Systematic Study on African Languages [12.074798555934855]
  低リソースのアフリカ言語のためのNLPシステムを構築するためには、言語間移動が不可欠である。 816回の移動実験において,5つの埋め込み類似度指標を系統的に評価した。 その結果,コサインギャップと検索に基づく指標が転送成功を確実に予測できることが判明した。
  論文  参考訳（メタデータ） (2026-01-06T16:39:28Z)
• DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
  DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。 エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
  論文  参考訳（メタデータ） (2023-11-10T20:09:08Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty Estimation [34.97086123805344]
  最近の多言語事前訓練型言語モデルは、目覚ましいゼロショット性能を実現している。 対象言語のラベルのないデータをさらに活用する自己学習フレームワークを提案する。 我々は,NER(Nond Entity Recognition)とNLI(Natural Language Inference)の2つの言語間タスクについて,40言語を網羅した不確実性で評価した。
  論文  参考訳（メタデータ） (2021-09-01T05:26:46Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。