論文の概要: Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation
into Multicultural Proverbs and Sayings
- arxiv url: http://arxiv.org/abs/2309.08591v1
- Date: Fri, 15 Sep 2023 17:45:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 13:21:55.735206
- Title: Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation
into Multicultural Proverbs and Sayings
- Title(参考訳): 多言語LLMは文化的多言語共振器か?
多文化的証明と発言に関する研究
- Authors: Chen Cecilia Liu, Fajri Koto, Timothy Baldwin, Iryna Gurevych
- Abstract要約: 大規模言語モデル (LLM) は質問への回答や推論に非常に適している。
本研究は,多言語多言語LLMの会話文脈における証明や言説の推論能力について考察する。
- 参考スコア(独自算出の注目度): 80.27530160819468
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are highly adept at question answering and
reasoning tasks, but when reasoning in situational context, human expectations
vary depending on the relevant cultural common ground. As human languages are
associated with diverse cultures, LLMs should also be culturally-diverse
reasoners. In this paper, we study the ability of a wide range of
state-of-the-art multilingual LLMs (mLLMs) to reason with proverbs and sayings
in a conversational context. Our experiments reveal that: (1) mLLMs 'knows'
limited proverbs and memorizing proverbs does not mean understanding them
within a conversational context; (2) mLLMs struggle to reason with figurative
proverbs and sayings, and when asked to select the wrong answer (instead of
asking it to select the correct answer); and (3) there is a "culture gap" in
mLLMs when reasoning about proverbs and sayings translated from other
languages. We construct and release our evaluation dataset MAPS (MulticultrAl
Proverbs and Sayings) for proverb understanding with conversational context for
six different languages.
- Abstract(参考訳): 大きな言語モデル(llm)は質問への答えや推論のタスクに非常に適していますが、状況によっては、人間の期待は、関連する文化的共通点によって異なります。
人間の言語は多様な文化と結びついているので、LLMは文化的に異なる推論者でもあるべきである。
本稿では,多言語多言語 LLM (mLLMs) が,会話の文脈における証明や言い回しを推論する能力について検討する。
実験の結果,(1)mllms'knows'の限定的な証明と暗記は会話的文脈の中での理解を意味するものではなく,(2)mllmsは形容詞や言い回しによる推論に苦慮し,(正しい答えを問うのではなく)間違った答えを選ぶよう求めた場合,(3)他言語からの推論や言い回しに対してmllmsに「文化ギャップ」があることが判明した。
評価データセットMAPS (MulticultrAl Proverbs and Sayings) を構築・リリースし、6つの異なる言語に対する会話コンテキストによる理解を実証する。
関連論文リスト
- Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳(メタデータ) (2024-05-07T20:28:34Z) - Open Source Conversational LLMs do not know most Spanish words [2.737783055857426]
我々は,オープンソースチャットLLMがスペイン語の単語に対して持つ知識を,参照辞書における単語のサンプルをテストすることによって評価する。
その結果、オープンソースのチャットLLMは、単語の重要部分に対して誤った意味を生じさせ、文脈で文章を書くためにほとんどの単語を正しく利用できないことがわかった。
論文 参考訳(メタデータ) (2024-03-21T15:41:02Z) - Evaluating the Elementary Multilingual Capabilities of Large Language
Models with MultiQ [15.844303418745692]
大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。
近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。
我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
論文 参考訳(メタデータ) (2024-03-06T16:01:44Z) - Do Moral Judgment and Reasoning Capability of LLMs Change with Language?
A Study using the Multilingual Defining Issues Test [21.108525674360898]
我々は英語を超えて5つの新しい言語(中国語、ヒンディー語、ロシア語、スペイン語、スワヒリ語)に拡張する。
本研究は, ヒンディー語, スワヒリ語, スペイン語, ロシア語, 中国語, 英語に比較して, すべてのモデルに対する道徳的推論能力は, ヒンディー語, スワヒリ語に比較して有意に劣っていることを示す。
論文 参考訳(メタデータ) (2024-02-03T12:52:36Z) - Breaking the Language Barrier: Improving Cross-Lingual Reasoning with
Structured Self-Attention [18.439771003766026]
多言語言語モデル(MultiLM)が、異なる言語での推論のために微調整された場合、論理的推論能力を他の言語に伝達できるかどうかを検討する。
我々は,MultiLMが言語間の推論能力をモノリンガルな環境で伝達できることを実証した。
この観察に続いて,コードスイッチングシーケンスにおける言語横断的な注意を促すために,専用パラメータセットを用いた新しいアテンション機構を提案する。
論文 参考訳(メタデータ) (2023-10-23T18:06:38Z) - Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in
Large Language Models [89.94270049334479]
本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。
LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
論文 参考訳(メタデータ) (2023-10-19T05:38:23Z) - Multilingual Language Models are not Multicultural: A Case Study in
Emotion [8.73324795579955]
2023年の多言語LMは、文化や言語間の感情表現の相違を反映しているかどうかを考察する。
LMから得られる埋め込みはアングロ中心であり、生成的LMは他言語のプロンプトに応答しても西洋のノルムを反映している。
論文 参考訳(メタデータ) (2023-07-03T21:54:28Z) - Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。
モデルは英語から道徳的規範を捉え、他の言語に強制するか?
我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
論文 参考訳(メタデータ) (2022-11-14T20:08:54Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳(メタデータ) (2022-03-18T12:26:37Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳(メタデータ) (2022-03-16T07:09:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。