論文の概要: GYROval: A Robust Benchmark for Cultural Value Orientation in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.18384v1
- Date: Wed, 16 Sep 2026 09:38:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.73797
- Title: GYROval: A Robust Benchmark for Cultural Value Orientation in Large Language Models
- Title（参考訳）: GYROval: 大規模言語モデルにおける文化的価値指向のロバストベンチマーク
- Abstract要約: GYROvalは、大きな言語モデルにおける文化的価値の向きを測定するためのベンチマークである。
また、20モデルのうち11モデルが同じ項目の対訳と第2のサンプリング温度を施した。
- 参考スコア（独自算出の注目度）: 70.36032466145112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a robust benchmark for measuring cultural value orientation in large language models on the two Inglehart-Welzel axes over several domains and roles (hence GYROval - Gridded Yielding of Robust value Orientation), together with the results of administering it to twenty models. Items are binary contrastive scenarios in the sense introduced by CDEval: both options are legitimate courses of action, neither is correct, there is no answer key, and a model's score on an axis is the proportion of its responses falling on the counted pole. Eleven of the twenty models were additionally administered a paired Russian translation of the identical items and a second sampling temperature. The instrument is publicly released in both languages. Stability was assessed by treating the vignette as the unit of analysis, ranking the models within the levels of each perturbation factor, and summarising the agreement between levels by tie-corrected Kendall's \emph{W} against an empirical permutation null.
- Abstract（参考訳）: 大規模言語モデルにおける2つのイングルハート・ヴェルツェル軸の複数の領域と役割(従って、GYROval - Gridded Yielding of Robust Value Orientation)の文化的価値指向を測定するための頑健なベンチマークと、それを20のモデルに施した結果について述べる。
アイテムは、CDEval が導入した感覚において二進的コントラストのシナリオである: どちらのオプションも正当なアクションのコースであり、正当ではない、応答キーがない、軸上のモデルのスコアは、カウントされたポールに落ちる応答の割合である。
また、20モデルのうち11モデルが同じ項目の対訳と第2のサンプリング温度を施した。
この楽器は両方の言語で公開されている。
安定度は、ウィグネットを解析単位として扱い、各摂動係数のレベルにモデルをランク付けし、ケンドールの「emph{W}」と経験的置換ヌルとの結びつきによるレベル間の一致を要約することで評価された。
関連論文リスト
- IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。
このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。
The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
論文 参考訳（メタデータ） (2026-05-30T11:20:29Z) - Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。
対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。
本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
論文 参考訳（メタデータ） (2026-02-02T16:27:32Z) - Clause-Internal or Clause-External? Testing Turkish Reflexive Binding in Adapted versus Chain of Thought Large Language Models [0.0]
本研究では,現在最先端の大規模言語モデルがトルコ語の反射的代名詞の結合関係を捉えているかどうかを評価する。
我々は,非局所的先駆者に対して局所的に対決する100の文のバランスの取れた集合を構築し,反射性ケンディとケンディジについて検討する。
マルチステップ推論のために設計されたOpenAIチェーン・オブ・シントモデルと、LLaMA-2由来のトルコデータに基づく広範囲に微調整されたTrendyol-LLM-7B-base-v0.1である。
論文 参考訳（メタデータ） (2026-01-30T23:00:04Z) - CALMA: A Process for Deriving Context-aligned Axes for Language Model Alignment [4.732046558763803]
評価とアライメントのための文脈関連軸を抽出するための基礎的,参加的手法であるCALMAを紹介する。
その結果,オープンエンドおよびユースケース駆動プロセスに基づく評価実践の価値が示された。
論文 参考訳（メタデータ） (2025-07-11T22:33:11Z) - Lost in Translation? Translation Errors and Challenges for Fair Assessment of Text-to-Image Models on Multilingual Concepts [107.32683485639654]
テキスト・トゥ・イメージ(T2I)モデルの多言語能力のベンチマークは、テスト言語で生成された画像と概念集合上の期待画像分布を比較した。
このようなベンチマークの一つである"Conceptual Coverage Across Languages" (CoCo-CroLa)は、7つの言語に翻訳された概念リストから画像を生成するように促すことで、T2Iモデルの具体的な名詞の在庫を評価する。
このベンチマークは、スペイン語、日本語、中国語の様々な重大度の翻訳誤りを含むことがわかった。
論文 参考訳（メタデータ） (2024-03-17T05:05:11Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - On the Relation between Syntactic Divergence and Zero-Shot Performance [22.195133438732633]
我々は、英語から多種多様な言語にパースするUniversal Dependencies (UD) を移譲し、2つの実験を行う。
我々は、英語のソースエッジが翻訳で保存される範囲に基づいてゼロショット性能を解析する。
両実験の結果から,言語間安定性とゼロショット解析性能の強い関係が示唆された。
論文 参考訳（メタデータ） (2021-10-09T21:09:21Z) - Composed Variational Natural Language Generation for Few-shot Intents [118.37774762596123]
現実的な不均衡シナリオにおいて、数ショットのインテントに対するトレーニング例を生成します。
生成した発話の質を評価するために、一般化された複数ショット意図検出タスクについて実験を行った。
提案モデルでは,2つの実世界の意図検出データセットに対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-09-21T17:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。