論文の概要: Which Institutional Frameworks Do Chatbots Assume? Auditing Jurisdictional Defaults in Multilingual LLMs
- arxiv url: http://arxiv.org/abs/2606.00333v1
- Date: Fri, 29 May 2026 20:19:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.292819
- Title: Which Institutional Frameworks Do Chatbots Assume? Auditing Jurisdictional Defaults in Multilingual LLMs
- Title（参考訳）: チャットボットが想定する制度的枠組み : 多言語LLMにおける法定デフォルト監査
- Abstract要約: デプロイされたLLMは、任意の国や地域を省略する際、デフォルトの管轄権信号として入力言語を使用するかどうかを問う。
アメリカ合衆国および中国で開発された7つのLSMを,英語と中国語で規定されていない法的管理プロンプトとして評価した。
中国語の入力は中国固有の回答を多く産み出すのに対し、英語の入力は米国固有の、比較的な、あるいは一般的な回答を産み出すのが普通である。
- 参考スコア（独自算出の注目度）: 2.592249533773669
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs increasingly answer questions about taxes, labor protections, healthcare, education, pensions, and administrative procedures, where usefulness often depends on the applicable jurisdiction. Multilingual users may write in their most comfortable language rather than one associated with the country or region whose rules apply. We ask whether deployed LLMs use input language as a default jurisdictional signal when prompts omit any country or region. Prior multilingual audits show that prompt language can shift cultural, political, or normative outputs; we examine which legal-administrative framework models supply when jurisdiction is underspecified. We evaluate seven LLMs developed in the United States or China on 60 underspecified legal-administrative prompts in English and Mandarin Chinese under three system-prompt conditions, yielding 2,520 manually annotated responses. Across models and conditions, Chinese input more often produces China-specific answers, while English input more often produces U.S.-specific, comparative, or generic answers. Prompts requiring a single answer further increase jurisdiction selection: pooled across models, 74.5% of English-input responses adopt a U.S. framework, while 53.3% of Chinese-input responses adopt a China framework. This directional pattern appears in all seven models. We describe this deployment-level pattern as institutional-framework misselection risk: a fluent answer may rely on a legal-administrative context the user did not intend, especially when their preferred language differs from the relevant jurisdiction. LLM interfaces should not route institutional advice by input language alone; when location is absent, they should request it or state the jurisdictional scope of the answer.
- Abstract（参考訳）: LLMは、税、労働保護、医療、教育、年金、行政手続きに関する質問に答える傾向にあり、有用性はしばしば該当する司法管轄区域に依存している。
多言語ユーザーは、ルールが適用される国や地域に関連するものよりも、最も快適な言語で書くことができる。
デプロイされたLLMは、任意の国や地域を省略する際、デフォルトの管轄権信号として入力言語を使用するかどうかを問う。
事前の多言語監査は、即時言語が文化的、政治的、あるいは規範的なアウトプットをシフトできることを示している。
アメリカ合衆国および中国で開発された7つのLSMを,英語と中国語で規定されていない法的管理プロンプトを3つのシステム・プロンプト条件下で評価し,手動で2,520の応答を得た。
モデルや条件を越えて、中国語の入力は中国固有の回答を多く生成する一方、英語の入力は米国固有の、比較的な、あるいは一般的な回答を生成することが多い。
単一の回答を必要とするプロンプトは、複数のモデルにまたがってプールされ、74.5%の英文応答が米国の枠組みを採用し、53.3%の中国文応答が中国の枠組みを採用している。
この方向パターンは7つのモデルすべてに現れる。
フロートな回答は、ユーザが意図しなかった法的・行政的な文脈に依存し、特に彼らの好む言語が関連する管轄区域と異なる場合である。
LLMインターフェースは、入力言語だけで制度的なアドバイスをルートするべきではない。
関連論文リスト
- Are you speaking my languages? On spoken language adherence in multimodal LLMs [1.554397085362411]
大言語モデル(LLM)に基づく自動音声認識(ASR)は、シームレスな多言語使用を可能にする。
モデルはしばしば出力言語を誤認し、書き起こしの忠実さと下流のアプリケーション品質を妥協する。
出力を厳密に制約することなく、潜在的な音声言語にヒントを与えるソフトプロンプト手法を提案する。
論文 参考訳（メタデータ） (2026-06-15T20:44:42Z) - XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering [48.913480244527925]
大規模言語モデル (LLM) はオープンドメイン質問応答 (ODQA) において大きな進歩を見せている。
ほとんどの評価は英語に焦点をあて、言語間で局所不変の回答を仮定する。
XLQAは局所感性多言語ODQA用に明示的に設計された新しいベンチマークである。
論文 参考訳（メタデータ） (2025-08-22T07:00:13Z) - Characterizing Bias: Benchmarking Large Language Models in Simplified versus Traditional Chinese [52.98034458924209]
本研究では,大言語モデルが中国語の2つの変種に刺激された場合の差分性能について検討する。
実世界のシナリオを反映した2つのベンチマークタスクを設計する。
分析の結果、LLM応答のバイアスはタスクとプロンプト言語の両方に依存していることがわかった。
論文 参考訳（メタデータ） (2025-05-28T17:56:49Z) - Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。
文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
論文 参考訳（メタデータ） (2025-05-23T02:46:18Z) - MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。
それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。
効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文 参考訳（メタデータ） (2025-03-13T15:59:20Z) - How Chinese are Chinese Language Models? The Puzzling Lack of Language Policy in China's LLMs [2.9123921488295768]
18言語で中国語企業によって事前訓練された6つのオープンソース多言語LPMを評価した。
実験の結果,中国における多言語でのLLMのパフォーマンスは国際LLMと区別できないことがわかった。
われわれは、中国のLLM開発において、言語多様性のいずれに対しても、一貫した政策の兆候は見つからない。
論文 参考訳（メタデータ） (2024-07-12T19:21:40Z) - Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。
Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。
言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文 参考訳（メタデータ） (2024-06-28T17:03:51Z) - Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳（メタデータ） (2024-03-06T16:01:44Z) - Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models [54.58989938395976]
本稿では,シーケンスラベリングタスクに対する分割プロンプト手法を提案する。
提案手法は,38言語を対象としたUniversal Dependencies part-of-speech Taggedについて検証する。
論文 参考訳（メタデータ） (2024-02-28T15:15:39Z) - This Land is {Your, My} Land: Evaluating Geopolitical Biases in Language Models [40.61046400448044]
大規模言語モデル (LLM) では, 異なる言語を問うと, 地理的知識が不整合に記憶されることが示されている。
対象とするケーススタディとして、本質的に議論の的かつ多言語的な課題である領土紛争を考察する。
本稿では,様々な言語における応答のバイアスと一貫性を正確に定量化するための評価指標を提案する。
論文 参考訳（メタデータ） (2023-05-24T01:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。