論文の概要: Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms
- arxiv url: http://arxiv.org/abs/2609.26942v1
- Date: Tue, 22 Sep 2026 18:30:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.728975
- Title: Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms
- Title（参考訳）: 認識されるが生産されない: 文化固有の血縁関係用語の世代ベンチマーク
- Abstract要約: 我々は5つの大きな言語モデルに、西欧以外の3つの言語で親族語を生成するよう促す。
同一の関連言語細胞では、GPT OSS120Bは75の有効な細胞の90.67%で正しい項を選択するが、対応する試みの360%で受け入れられた項を生成する。
明示的に指定されたL3プロンプトでは、GLM-5.1の72.29%からLlama-3.370Bの24.24%まで、精度が大幅に変化する。
ヒンディー語では大きいが、韓国語では弱いか逆転しているのに対し、タミル語では共通項ペアが測定変動の制御を提供する。
- 参考スコア（独自算出の注目度）: 0.4440305753099883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current literature evaluates large language models (LLMs) on multilingual kinship understanding using multiple choice benchmarks, treating it as a recognition problem. We instead prompt five open weight LLMs to generate kinship terms in three non Western languages (Hindi, Tamil, and Korean) across two communicative tasks and pair this with a matched option-supported selection baseline. On identical relation language cells, GPT OSS120B selects the correct term in 90.67% of 75 valid cells but produces an accepted term in 36.00% of the corresponding attempts; Llama 3.370B shows the same pattern (77.92% versus 24.24%). Since the four-option condition displays the candidate terms and does not require script production, the difference is interpreted as an evaluation format gap rather than direct proof that lexical knowledge is intact. On explicitly specified L3 prompts, accuracy varies sharply, from GLM-5.1 at 72.29% to Llama-3.370B at 24.24%. The paternal-lineage advantage is language specific; it is large in Hindi but weak or reversed in Korean, while Tamil shared-term pairs provide a control for measurement variation. These results show that culturally specific kinship generation remains difficult even when the relationship is explicitly stated and motivate generation-based evaluation alongside multiple-choice testing.
- Abstract（参考訳）: 現在の文献では、複数の選択ベンチマークを用いて多言語親和性理解の大規模言語モデル(LLM)を評価し、認識問題として扱う。
代わりに、我々は5つのオープンウェイト LLM に対して、2つのコミュニケーションタスクにまたがる3つの非西洋言語(ヒンディー語、タミル語、韓国語)の親族関係項を生成し、これを一致するオプションサポートされた選択ベースラインと組み合わせるよう促します。
同一の関連言語細胞では、GPT OSS120Bは75の有効細胞の90.67%で正しい項を選択するが、36.00%で許容される項を生成する。
4オプション条件は、候補語を表示し、スクリプト生成を必要としないため、語彙知識がそのままであることの直接証明よりも、評価フォーマットギャップとして解釈される。
明示的に指定されたL3プロンプトでは、GLM-5.1の72.29%からLlama-3.370Bの24.24%まで、精度が大幅に変化する。
ヒンディー語では大きいが、韓国語では弱いか逆転し、タミル語で共有されるペアは測定変動の制御を提供する。
これらの結果から,関係が明確に述べられた場合でも,文化的に特異的な血縁関係の生成は困難であり,複数選択テストと合わせて世代による評価を動機付けることが示唆された。
関連論文リスト
- IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - L3Cube-IndicQuest v2: A Large-Scale Multilingual Benchmark for Evaluating Factual Knowledge of Large Language Models Across Indic Languages [2.7725161329847547]
L3-IndicQuest v2は、大規模言語モデル(LLM)のインド固有の事実知識を評価するための大規模ゴールドスタンダード多言語質問答えベンチマークである。
このベンチマークは、9つのドメインにまたがる3,471のカリキュラムと、教育カリキュラム、競争試験資料、ドメイン固有の参考書からなる。
このベンチマークは19のIndic言語に翻訳され、20言語にまたがる69,420の質問対のデータセットが公開されている。
論文 参考訳（メタデータ） (2026-08-16T05:07:28Z) - LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them? [3.809788214307542]
多言語転送ボトルネックと言語一貫性ボトルネックという,2つの重要な障害モードを特定し,特徴付ける。
我々はロジットレンズ解析を拡張し、言語確率層を層単位で追跡し、隠れ状態の言語間セマンティックな類似性を計算する。
これは、効率的な多言語適応のために言語制御の層局所化を利用する最初のアプローチである。
論文 参考訳（メタデータ） (2026-01-27T19:38:12Z) - Bridging the Semantic Gap: Contrastive Rewards for Multilingual Text-to-SQL [2.8727471514655902]
現在のテキストから言語へのメソッドは、セマンティックアライメントの課題を見越して、実行可能なクエリのみに焦点を当てている。
タスク効率と意味的精度を両立させるため,多言語コントラスト報酬信号を組み合わせた新しいフレームワークを提案する。
提案手法は,意味的類似性に基づく報酬信号を組み合わせることにより,生成とユーザ意図の対応性の向上をモデルに教える。
論文 参考訳（メタデータ） (2025-10-10T03:07:55Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - KoBALT: Korean Benchmark For Advanced Linguistic Tasks [0.6971903955510721]
KoBALT (Korean Benchmark for Advanced Linguistic Tasks) は700の質問からなる言語的に動機付けられたベンチマークである。
韓国語における大規模言語モデル(LLM)の評価を推し進めるために設計された。
韓国の標準コーパスとn-gramの重複が最小限に抑えられた専門家による言語的動機付けの質問スイートを導入している。
論文 参考訳（メタデータ） (2025-05-22T02:03:07Z) - MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。
それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。
効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文 参考訳（メタデータ） (2025-03-13T15:59:20Z) - Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。
GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。
多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
論文 参考訳（メタデータ） (2023-02-17T14:46:38Z) - Cross-lingual Dysarthria Severity Classification for English, Korean,
and Tamil [3.991584682799934]
本稿では,英語,韓国語,タミル語の言語間分類法を提案する。
音声品質,発音,韻律などの多様な音声次元から,30種類の特徴を抽出する。
3つの言語の特徴選択結果を比較することにより、共有された特徴の集合と特徴の集合を区別する。
論文 参考訳（メタデータ） (2022-09-26T18:28:15Z) - Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。
i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文 参考訳（メタデータ） (2020-08-20T17:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。