論文の概要: LKValues: Aligning Large Language Models with Sri Lankan Societal Values
- arxiv url: http://arxiv.org/abs/2607.20410v1
- Date: Wed, 22 Jul 2026 17:49:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.171056
- Title: LKValues: Aligning Large Language Models with Sri Lankan Societal Values
- Title(参考訳): LKValues:スリランカの社会的な価値を持つ大規模言語モデルの調整
- Abstract要約: 既存のベンチマークは、公式言語であるSinhalaのSri Lankanのコンテクスト化値を見落としている。
Sri Lankan値アライメントのための最初のサーベイグラウンドのリソーススイートであるLKValuesを提案する。
- 参考スコア(独自算出の注目度): 41.84116838445288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Value alignment of Large Language Models (LLMs) has been shown to be culturally biased toward Western norms. This results in the mishandling of local values in multilingual societies such as Sri Lanka that have their unique cultural dynamics. Existing benchmarks overlook Sri Lankan-contextualized values in its official language Sinhala, hindering culturally sensitive evaluation and fine-tuning. To bridge this gap, we propose LKValues, the first survey-grounded resource suite for Sri Lankan value alignment. From a trilingual survey of 205 respondents, blending adapted global frameworks and LLM-elicited local constructs, we derive 40 majority-endorsed societal values. Using these values, we construct LKvaluesIT, a Sinhala-English news-derived instruction corpus containing 150k scenario-based instances, and LKvaluesBench, a value-sensitive evaluation benchmark of 1,000 instances. We evaluate a set of proprietary and open-weight LLMs with LKvaluesBench. We fine-tune three open-weight base models (Qwen3.5-4B-Base, Qwen3.5-9B-Base, and Aya-Expanse-8B-Base). Our experiments show that newer and larger LLMs still exhibit low-resource and cultural value-alignment gaps. LKValues fine-tuning improves Qwen-family models in English and Sinhala, reducing invalid outputs and cross-lingual disparities, though gains remain model-family dependent. These highlight LKValues efficacy in embedding Sri Lankan values, offering a replicable pipeline for low-resource, country-specific pluralist value alignment. The dataset is publicly available at https://github.com/NextME14/LKValues.
- Abstract(参考訳): 大言語モデル(LLM)の価値アライメントは、西洋の規範に文化的に偏っていることが示されている。
この結果、スリランカのような独自の文化的ダイナミクスを持つ多言語社会における地域価値の誤った扱いがもたらされる。
既存のベンチマークでは、スリランカの公用語Sinhalaのコンテクスト化された価値を見落としており、文化的にセンシティブな評価と微調整を妨げている。
このギャップを埋めるために、我々はSri Lankan値アライメントのための最初のサーベイグラウンドのリソーススイートであるLKValuesを提案する。
205人の回答者を対象にしたトリリンガル調査から, 適応されたグローバルフレームワークと LLM による局所構造をブレンドし, 40 人の多数派が支持する社会的価値を導出した。
これらの値を用いて、150kのシナリオベースのインスタンスを含むシンハラ語ニュース由来の命令コーパスであるLKvaluesITと、1000インスタンスの値感度評価ベンチマークであるLKvaluesBenchを構築する。
LKvaluesBench を用いて,プロプライエタリかつオープンウェイトな LLM の集合を評価する。
オープンウェイトベースモデル(Qwen3.5-4B-Base、Qwen3.5-9B-Base、Aya-Expanse-8B-Base)を微調整する。
以上の結果から,LLMの新たな大規模化は依然として低資源化と文化的価値調整のギャップが残っていることが示唆された。
LKValuesの微調整は、英語とシンハラ語におけるQwenファミリーモデルを改善し、無効な出力と言語間の格差を減らすが、利得はモデルに依存している。
これらはスリランカの値の埋め込みにおけるLKValuesの有効性を強調し、低リソースで国固有の複数の値アライメントのための複製可能なパイプラインを提供する。
データセットはhttps://github.com/NextME14/LKValues.comで公開されている。
関連論文リスト
- Polite on the Surface, Wrong in Practice: A Curated Dataset for Fixing Honorific Failures in Multilingual Bangla Generation [0.0815557531820863]
我々はtextbfBangLa アプリケーションと DialoguE 生成のための新しい,文化的に整合した命令チューニングデータセットを提案する。
我々はこのリソースを利用して、DeepSeek-8BやLLaMA-3.2-3Bなど、先進的なオープンウェイトアーキテクチャを体系的に微調整し、評価する。
我々の経験的評価は、データセットに微調整されたモデルが、構造的忠実度と名誉的アライメントを大幅に改善することを示している。
論文 参考訳(メタデータ) (2026-05-21T13:43:07Z) - Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment [75.88231994139132]
GPT-4.1のような最先端モデルでさえ、モーダル選好を予測する精度は57.4%に過ぎなかった。
モデルでは、若者、男性、中国人、キリスト教のペルソナをよりうまくエミュレートする。
論文 参考訳(メタデータ) (2026-04-14T15:06:13Z) - Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook [50.10594064510559]
DOVEは、人文テキストとLLM出力を直接比較する分散評価フレームワークである。
DOVEは, ダウンストリームタスクと31.56%の相関を達成し, 高い信頼性を保ちながら, 文化ごとのサンプル500点程度の信頼性を維持した。
論文 参考訳(メタデータ) (2026-03-16T08:33:10Z) - I Am Aligned, But With Whom? MENA Values Benchmark for Evaluating Cultural Alignment and Multilingual Bias in LLMs [5.060243371992739]
大規模言語モデル(LLM)の文化的アライメントと多言語バイアスを評価するための新しいベンチマークであるMENAValuesを紹介する。
大規模で権威ある人的調査から、我々は16カ国の人口レベルの応答分布を持つMENAの社会文化的景観を捉えた構造化データセットをキュレートした。
分析の結果,同じ質問が言語に基づいて大きく異なる反応をもたらす「クロス・Lingual Value Shifts」,その理由の説明を促す「Reasoning-induced Degradation」,モデルがセンシティブな質問を拒否する「Logit Leakage」,内部確率が強く隠蔽される「Logit Leakage」の3つの重要な現象が明らかになった。
論文 参考訳(メタデータ) (2025-10-15T05:10:57Z) - Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。
既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。
その結果,2つの領域間に大きな性能差が認められた。
論文 参考訳(メタデータ) (2025-05-22T12:27:02Z) - Fine-Tuning LLMs for Low-Resource Dialect Translation: The Case of Lebanese [2.8161155726745237]
本稿では,低リソースレバノン方言の翻訳におけるLarge Language Models(LLMs)の有効性について検討する。
我々は,オープンソースのAya23モデルを用いて,基本,コントラスト,文法ヒントチューニングの3つの微調整手法を比較した。
実験では、小さなが文化的に認識されているレバノンのデータセットに基づいて微調整されたモデルが、大規模で非ネイティブなデータでトレーニングされたモデルよりも一貫して優れていることが明らかになった。
論文 参考訳(メタデータ) (2025-04-30T18:33:53Z) - Benchmarking Multi-National Value Alignment for Large Language Models [23.378701093426546]
大規模言語モデルと5つの主要国の値の整合性を評価するためのベンチマークであるNaVABを紹介する。
NaVABは、価値評価データセットを効率的に構築するための国家価値抽出パイプラインを実装している。
各国の様々なLCMについて広範な実験を行い、その結果、不整合シナリオの識別支援に関する知見を提供する。
論文 参考訳(メタデータ) (2025-04-17T13:01:38Z) - LIBRA: Measuring Bias of Large Language Model from a Local Context [9.612845616659776]
大規模言語モデル(LLM)は、かなり高度な自然言語処理アプリケーションを持っている。
しかし、彼らの普及した利用は、特定の社会集団の実用性や害を減少させる固有のバイアスに関する懸念を提起する。
本研究は,これらの制約を,バイアス測定のためのローカル統合バイアス認識評価フレームワーク(LIBRA)を用いて解決する。
論文 参考訳(メタデータ) (2025-02-02T04:24:57Z) - Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。
価値を人間に合わせることは 責任ある開発に欠かせないものになっています
3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
論文 参考訳(メタデータ) (2025-01-13T05:53:56Z) - CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。
CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。
データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
論文 参考訳(メタデータ) (2024-02-20T16:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。