論文の概要: Language Non-Invariance in the Ideological Evaluation of Large Language Models
- arxiv url: http://arxiv.org/abs/2610.41135v1
- Date: Fri, 30 Oct 2026 01:43:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.585577
- Title: Language Non-Invariance in the Ideological Evaluation of Large Language Models
- Title（参考訳）: 大規模言語モデルのイデオロギー評価における言語非不変性
- Abstract要約: 大きな言語モデルの政治的評価は言語によって異なる。
本稿では, この非分散が, 質問文翻訳, 表面表現, モデル変動, 楽器選択においていかに頑健かを検討する。
また、イデオロギー監査は言論の自由な政治的属性ではなく、言語と楽器による成果を回復させると結論付けている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent multilingual studies show that political evaluations of large language models (LLMs) can vary across languages. This paper examines how robust this non-invariance is to questionnaire translation, surface wording, stochastic model variation, and instrument choice, and how much it matters for cross-model comparison. Using the Political Compass, the analysis compares the positions of five LLMs, GPT-3.5, GPT-4o, GPT-5.2, Qwen-2.5, and Mistral Large, on its economic and social axes in English, Spanish, and French, with repeated stochastic draws. Additional exercises use independent Spanish and French translations, paraphrased versions in all three languages, and an alternative ideological instrument. Measured ideological positions are not language-invariant: relative to English, between four and five of the ten pairwise model rankings reverse in Spanish or French, depending on the language and axis. The broad cross-language pattern persists under independent translations, indicating that it is not solely an artifact of the official questionnaire versions. Yet the magnitude of particular shifts, and in some cases their sign, remains sensitive to wording and instrument choice. The evidence therefore supports a measurement interpretation: ideological audits recover language- and instrument-conditioned outcomes rather than a language-free political attribute. Because a single provider serves distinct linguistic constituencies through a common product, without users observing what other constituencies receive, this lack of comparability also bears on political accountability and cross-model comparisons.
- Abstract（参考訳）: 最近の多言語研究は、大規模言語モデル(LLM)の政治的評価が言語によって異なることを示している。
本稿では, この非分散性が, 質問文翻訳, 表面表現, 確率的モデル変化, 楽器選択においていかに頑健か, および, クロスモデル比較においてどの程度重要かを検討する。
政治コンパスを用いて、この分析は5つのLCM(GPT-3.5, GPT-4o, GPT-5.2, Qwen-2.5, Mistral Large)の立場を、英語、スペイン語、フランス語の経済的・社会的軸と、繰り返し確率的引き分けとを比較した。
追加の演習では、独立したスペイン語とフランス語の翻訳、すべての3つの言語でパラフレーズ化されたバージョン、代替のイデオロギーの楽器を使用する。
測位されたイデオロギーの位置は、英語とは対照的に、スペイン語やフランス語で表される10のモデルのうち4から5のランクは、言語や軸によって逆である。
広義のクロスランゲージパターンは独立した翻訳の下で継続され、公式のアンケート版の人工物ではないことを示している。
しかし、特定のシフトの大きさ、場合によってはその兆候は、言葉や楽器の選択に敏感である。
イデオロギー監査は、言論の自由な政治的属性ではなく、言語と楽器による成果を回復する。
単一のプロバイダが共通の製品を通じて異なる言語的選挙区を提供するため、ユーザが他の選挙区から何を受けるかを知ることができないため、この互換性の欠如は、政治的説明責任とモデル間比較にも関係している。
関連論文リスト
- Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models [17.773032447311195]
本稿では、可視的推論トレースを構造化シーケンスとして比較するトレースレベルの分散フレームワークを提案する。
以上の結果から,多言語説明アーティファクトの一貫性を大幅に過大評価できる可能性が示唆された。
論文 参考訳（メタデータ） (2026-10-21T02:35:06Z) - Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。
対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。
本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
論文 参考訳（メタデータ） (2026-02-02T16:27:32Z) - Benchmarking Concept-Spilling Across Languages in LLMs [7.577675422356702]
大規模言語モデル(LLM)は言語間の優れた能力を示すが、他の言語からの表現に対する体系的なバイアスを示すことが多い。
本稿では,言語間の多文語をモデルがどう扱うかを測定することで,多言語意味的ロバスト性を評価するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-18T19:28:26Z) - Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG [55.258582772528506]
異なる文書言語の混合が意図しない方法で生成と引用に影響を及ぼすかどうかを検討する。
8つの言語と6つのオープンウェイトモデルにまたがって、クエリが英語である場合、モデルは優先的に英語ソースを引用する。
モデルが言語嗜好のトレードオフ文書関連性を示すことがあり、引用選択が情報のみによって常に駆動されるわけではないことが分かる。
論文 参考訳（メタデータ） (2025-09-17T12:58:18Z) - Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs [8.34389139211844]
政治的意見の異文化間差異は多言語大言語モデル(MLLM)の異言語間差異につながる可能性がある
欧米の5言語にまたがる様々な大きさのMLLMにおいて、意見が言語間で伝達されるか、それぞれの言語に異なる意見が存在するかを分析する。
欧米の文脈では、政治的意見が言語間で伝達され、MLLMの明示的な社会言語学的、文化的、政治的整合性を達成する上での課題が示される。
論文 参考訳（メタデータ） (2025-08-07T16:33:45Z) - Language-Dependent Political Bias in AI: A Study of ChatGPT and Gemini [0.0]
本研究では,大規模言語モデルの政治的傾向と問合せ言語による分化の存在について検討する。
ChatGPTとGeminiは、14の異なる言語を使用して政治的軸検を受けた。
比較分析の結果、ジェミニはChatGPTに比べてリベラルで左翼の傾向が顕著であった。
論文 参考訳（メタデータ） (2025-04-08T21:13:01Z) - Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文 参考訳（メタデータ） (2023-10-23T17:42:01Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳（メタデータ） (2022-04-26T23:42:22Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。