論文の概要: Humans overrely on overconfident language models, across languages

• arxiv url: http://arxiv.org/abs/2507.06306v1
• Date: Tue, 08 Jul 2025 18:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.350925
• Title: Humans overrely on overconfident language models, across languages
• Title（参考訳）: 人間は言語全体にわたる過信言語モデルに過度に取り組んだ
• Authors: Neil Rathi, Dan Jurafsky, Kaitlyn Zhou,
• Abstract要約: 5言語にわたる多言語言語(ミス)校正,過信,過信のリスクについて検討した。 オーバー信頼リスクはすべての言語で高いことが分かっています。
• 参考スコア（独自算出の注目度）: 32.71245803698373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are deployed globally, it is crucial that their responses are calibrated across languages to accurately convey uncertainty and limitations. Previous work has shown that LLMs are linguistically overconfident in English, leading users to overrely on confident generations. However, the usage and interpretation of epistemic markers (e.g., 'It's definitely,' 'I think') can differ sharply across languages. Here, we study the risks of multilingual linguistic (mis)calibration, overconfidence, and overreliance across five languages to evaluate the safety of LLMs in a global context. We find that overreliance risks are high across all languages. We first analyze the distribution of LLM-generated epistemic markers, and observe that while LLMs are cross-linguistically overconfident, they are also sensitive to documented linguistic variation. For example, models generate the most markers of uncertainty in Japanese and the most markers of certainty in German and Mandarin. We then measure human reliance rates across languages, finding that while users strongly rely on confident LLM generations in all languages, reliance behaviors differ cross-linguistically: for example, users rely significantly more on expressions of uncertainty in Japanese than in English. Taken together, these results indicate high risk of reliance on overconfident model generations across languages. Our findings highlight the challenges of multilingual linguistic calibration and stress the importance of culturally and linguistically contextualized model safety evaluations.
• Abstract（参考訳）: 大規模言語モデル(LLM)がグローバルにデプロイされるため、不確実性と制限を正確に伝達するためには、言語間で応答を調整することが不可欠である。 これまでの研究では、LLMは言語的に言語的に過剰に信頼されていることが示されており、ユーザーは自信のある世代に過度に頼っている。 しかし、疫学的マーカーの使用と解釈(例:「それは確か」)は言語によって大きく異なる可能性がある。 本稿では,LLMの安全性をグローバルな文脈で評価するために,多言語言語(ミス)校正,過信,過度信頼のリスクを5言語にわたって検討する。 オーバー信頼リスクはすべての言語で高いことが分かっています。 われわれはまず, LLM 生成したてんかんマーカーの分布を解析し, LLM は言語学的に過信されているが, 文書化された言語変化にも敏感であることを示した。 例えば、モデルは日本語で最も不確実性のマーカーを生成し、ドイツ語やマンダリンでは最も確実性のマーカーを生成する。 次に、言語間の人間依存率を測定し、全ての言語において、ユーザーが自信あるLLM世代に強く依存しているのに対し、依存行動は言語間差があり、例えば、ユーザーは英語よりも日本語における不確実性の表現に大きく依存している。 まとめると、これらの結果は言語全体にわたって自信過剰なモデル世代に依存するリスクが高いことを示している。 本研究は,多言語言語キャリブレーションの課題と,文化的・言語学的モデル安全性評価の重要性を強調した。

関連論文リスト

• Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
  多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。 文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
  論文  参考訳（メタデータ） (2025-05-23T02:46:18Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual context [0.9130277390156759]
  アライメントチューニングにより、大きな言語モデルは、推論、命令追従、有害な世代を最小化できる。 広く展開されているにもかかわらず、これらのモデルはモノリンガルバイアスを示し、言語間のアライメントの有効性に関する懸念を提起する。 現在のアライメント手法は主に英語に重点を置いており、アライメント機構が多言語設定にどのように一般化するかははっきりしない。
  論文  参考訳（メタデータ） (2025-04-03T15:46:46Z)
• LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies [63.10843814055688]
  M-ALERTは5つの言語における大規模言語モデルの安全性を評価するベンチマークである。 M-ALERTには言語毎に15kの高品質なプロンプトが含まれており、合計で75k、カテゴリワイドアノテーションがある。 39種類のLLMに関する実験は,言語固有の安全性解析の重要性を強調した。
  論文  参考訳（メタデータ） (2024-12-19T16:46:54Z)
• Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense [30.62699081329474]
  本稿では,言語間感覚曖昧化のための新しいベンチマーク,StingrayBenchを紹介する。 インドネシア語とマレー語、インドネシア語とタガログ語、中国語と日本語、英語とドイツ語の4つの言語ペアで偽の友人を集めます。 各種モデルの解析において,高リソース言語に偏りが生じる傾向が見られた。
  論文  参考訳（メタデータ） (2024-10-28T22:09:43Z)
• XTRUST: On the Multilingual Trustworthiness of Large Language Models [14.128810448194699]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにまたがる顕著な機能を示している。 現在AIコミュニティが占めている重要な質問は、これらのモデルの能力と制限に関するものだ。 Xは、最初の総合的な多言語信頼性ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-24T05:38:33Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。