論文の概要: Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions
- arxiv url: http://arxiv.org/abs/2602.05932v1
- Date: Thu, 05 Feb 2026 17:44:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:09.094069
- Title: Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions
- Title（参考訳）: 多言語か多言語か : 多言語LLMによる多言語質問への回答
- Authors: Léo Labat, Etienne Ollion, François Yvon,
- Abstract要約: MCQ(Multiple-Choice Questions)は、知識、推論能力、さらには大きな言語モデル(LLM)で符号化された値を評価するためにしばしば用いられる。
- 参考スコア（独自算出の注目度）: 16.64653069179642
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multiple-Choice Questions (MCQs) are often used to assess knowledge, reasoning abilities, and even values encoded in large language models (LLMs). While the effect of multilingualism has been studied on LLM factual recall, this paper seeks to investigate the less explored question of language-induced variation in value-laden MCQ responses. Are multilingual LLMs consistent in their responses across languages, i.e. behave like theoretical polyglots, or do they answer value-laden MCQs depending on the language of the question, like a multitude of monolingual models expressing different values through a single model? We release a new corpus, the Multilingual European Value Survey (MEVS), which, unlike prior work relying on machine translation or ad hoc prompts, solely comprises human-translated survey questions aligned in 8 European languages. We administer a subset of those questions to over thirty multilingual LLMs of various sizes, manufacturers and alignment-fine-tuning status under comprehensive, controlled prompt variations including answer order, symbol type, and tail character. Our results show that while larger, instruction-tuned models display higher overall consistency, the robustness of their responses varies greatly across questions, with certain MCQs eliciting total agreement within and across models while others leave LLM answers split. Language-specific behavior seems to arise in all consistent, instruction-fine-tuned models, but only on certain questions, warranting a further study of the selective effect of preference fine-tuning.
- Abstract（参考訳）: MCQ(Multiple-Choice Questions)は、知識、推論能力、さらには大きな言語モデル(LLM)で符号化された値を評価するためにしばしば用いられる。
マルチリンガリズムがLLMの事実的リコールに与える影響について検討されているが,本研究では,多言語によるMCQ応答の変動について,未検討の課題について考察する。
多言語 LLM は言語間の応答に一貫性があるのか、つまり、理論的な多言語のように振る舞うのか、それとも、単一のモデルを通して異なる値を表現する複数の単言語モデルのように、質問の言語によって、価値に富んだMCQに答えるのか?
我々は、機械翻訳やアドホックなプロンプトに依存する以前の作業とは異なり、8つのヨーロッパ言語で整列された人間翻訳された調査質問のみを含む新しいコーパス、MEVS(Multilingual European Value Survey)をリリースした。
我々は,これらの質問のサブセットを,回答順序,記号型,尾文字など,包括的かつ制御されたプロンプト変化の下で,様々な大きさの多言語LLM,製造者,アライメントファインニング状態の30以上に管理する。
以上の結果から,より大きな命令調整モデルでは全体の一貫性が向上するが,応答の頑健性は質問によって大きく異なっており,MCQがモデル内およびモデル間の総一致を導き出す一方で,LCMの回答を分割するものもある。
言語固有の振る舞いは、すべての一貫した命令を微調整したモデルに現れるように見えるが、特定の質問のみに限られ、好みの微調整による選択的な効果についてさらなる研究が保証される。
関連論文リスト
- A method for improving multilingual quality and diversity of instruction fine-tuning datasets [29.07537849245622]
マルチリンガルデータ品質・多様性(M-DaQ)を導入し,IFT(Multilingual Instruction Fine-Tuning)の改善を図る。
M-DaQは、高品質で意味的に多様な多言語IFTサンプルを選択することで、LLMの多言語性を改善する新しい方法である。
18言語にわたる実証的な結果から、M-DaQで微調整されたモデルでは、バニラベースラインの60%の勝利率よりも大きなパフォーマンス向上が達成されている。
論文 参考訳（メタデータ） (2025-09-19T03:07:59Z) - CALM: Unleashing the Cross-Lingual Self-Aligning Ability of Language Model Question Answering [42.92810049636768]
大規模言語モデル(LLM)は、言語固有の文化的知識と一般知識の両方を取得するために、多言語コーパスで事前訓練されている。
言語モデル(CALM)の言語間知識の整合性について検討する。
我々は、異なる言語間でモデルの知識を整合させるために、直接選好最適化(DPO)を用いる。
論文 参考訳（メタデータ） (2025-01-30T16:15:38Z) - Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。
Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。
非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
論文 参考訳（メタデータ） (2024-10-21T00:59:47Z) - Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。
我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
論文 参考訳（メタデータ） (2024-08-19T17:02:06Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
CaLMQAは、文化的に異なる23言語にわたる51.7Kの質問のデータセットである。
我々は,LLM生成長文回答の事実性,関連性,表面品質を評価する。
論文 参考訳（メタデータ） (2024-06-25T17:45:26Z) - MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。
MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。
MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
論文 参考訳（メタデータ） (2024-04-07T15:23:28Z) - Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳（メタデータ） (2024-03-06T16:01:44Z) - How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳（メタデータ） (2024-02-29T02:55:26Z) - On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。
本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。
LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
論文 参考訳（メタデータ） (2023-11-15T03:29:02Z) - Applying Multilingual Models to Question Answering (QA) [0.0]
本研究では,英語,フィンランド語,日本語の3言語を対象とした質問応答課題(QA)に基づいて,単言語および多言語言語モデルの性能について検討する。
我々は,(1)質問が応答可能かどうかを判断するタスクのモデルを開発し,(2)IOBタグを用いたコンテキスト内の回答テキストを識別する。
論文 参考訳（メタデータ） (2022-12-04T21:58:33Z) - Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。
多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
論文 参考訳（メタデータ） (2022-02-15T18:22:18Z) - Multilingual Answer Sentence Reranking via Automatically Translated Data [97.98885151955467]
本稿では,現代の質問応答システム(QA)のコアコンポーネントである,多言語回答文選択(AS2)モデルの設計について述べる。
主なアイデアは、あるリソースリッチ言語(英語など)から、他の言語へのデータ転送であり、リソースの観点からはよりリッチである。
論文 参考訳（メタデータ） (2021-02-20T03:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。