論文の概要: Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance
- arxiv url: http://arxiv.org/abs/2402.14531v2
- Date: Mon, 14 Oct 2024 12:34:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:03:16.258672
- Title: Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance
- Title(参考訳): LLMを尊重すべきか? : LLM性能に及ぼすプロンプトポリトネスの影響に関する言語横断的研究
- Authors: Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara, Satoshi Sekine,
- Abstract要約: 本研究は,英語,中国語,日本語タスクの多言語モデル(LLM)に対するプロンプトの丁寧さの影響を評価する。
不規則なプロンプトがしばしばパフォーマンスを低下させるが、過度に丁寧な言語はより良い結果を保証しない。
- 参考スコア(独自算出の注目度): 16.7036374022386
- License:
- Abstract: We investigate the impact of politeness levels in prompts on the performance of large language models (LLMs). Polite language in human communications often garners more compliance and effectiveness, while rudeness can cause aversion, impacting response quality. We consider that LLMs mirror human communication traits, suggesting they align with human cultural norms. We assess the impact of politeness in prompts on LLMs across English, Chinese, and Japanese tasks. We observed that impolite prompts often result in poor performance, but overly polite language does not guarantee better outcomes. The best politeness level is different according to the language. This phenomenon suggests that LLMs not only reflect human behavior but are also influenced by language, particularly in different cultural contexts. Our findings highlight the need to factor in politeness for cross-cultural natural language processing and LLM usage.
- Abstract(参考訳): 大規模言語モデル (LLM) の性能に及ぼすプロンプトの丁寧度レベルの影響について検討する。
人間のコミュニケーションにおけるポリト言語は、よりコンプライアンスと効率性を高め、無礼は逆転を引き起こし、応答品質に影響を及ぼす。
LLMは人間のコミュニケーション特性を反映しており、人間の文化規範と一致していると考えられる。
我々は、英語、中国語、日本語タスクにおけるLLMに対するプロンプトの丁寧さの影響を評価する。
不規則なプロンプトがしばしばパフォーマンスを低下させるが、過度に丁寧な言語はより良い結果を保証しない。
最高の丁寧さは言語によって異なる。
この現象は、LLMが人間の行動を反映するだけでなく、言語、特に異なる文化的文脈にも影響されていることを示唆している。
本研究は,多文化間自然言語処理とLLM利用における礼儀正しさの必要性を明らかにするものである。
関連論文リスト
- Do LLMs have Consistent Values? [27.09321034836509]
我々は,Large Language Models (LLM) によって生成されたテキストで表される値について検討する。
我々は,LLMが,値のランク付けや値の相関など,人間で実証されたのと同じ値構造を示すかどうかを問う。
論文 参考訳(メタデータ) (2024-07-16T08:58:00Z) - Multilingual Trolley Problems for Language Models [138.0995992619116]
この研究は、「道徳機械実験」という人間の道徳的嗜好に関する大規模横断的な研究から着想を得たものである。
大規模な言語モデル(LLM)は、英語、韓国語、ハンガリー語、中国語などの言語では人間の好みと一致しているが、ヒンディー語やソマリ語(アフリカ)のような言語では一致していないことを示す。
また, LLMが道徳的選択に与える説明を特徴付けるとともに, GPT-3によるGPT-4の決定と実用主義の裏側において, 公平性が最も有力であることを示す。
論文 参考訳(メタデータ) (2024-07-02T14:02:53Z) - Are Large Language Models Chameleons? [1.5727456947901746]
我々は,プロンプトがバイアスや多様性に与える影響が基本であり,文化的,年齢的,性別的バイアスが顕著であることを示す。
個人決定や集団行動のモデル化にLLMを使用する前に,プロンプトの堅牢性と変動性を分析することが重要である。
論文 参考訳(メタデータ) (2024-05-29T17:54:22Z) - Is the Pope Catholic? Yes, the Pope is Catholic. Generative Evaluation of Non-Literal Intent Resolution in LLMs [29.09074652003724]
非リテラル発話に対する応答を調べることで,大規模言語モデル(LLM)の意図的理解を評価する。
以上の結果から,LLMは非リテラル言語に対する実用的応答の獲得に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2024-05-14T16:48:56Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。
この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。
深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
論文 参考訳(メタデータ) (2024-03-15T12:47:39Z) - How do Large Language Models Navigate Conflicts between Honesty and
Helpfulness? [14.706111954807021]
人間の振る舞いを特徴付けるための心理モデルと実験を用いて、大きな言語モデルを分析する。
人間のフィードバックからの強化学習は、誠実さと有用性の両方を改善している。
GPT-4 Turboは、会話のフレーミングやリスナーの判断コンテキストに対する感度を含む人間的な応答パターンを実証する。
論文 参考訳(メタデータ) (2024-02-11T19:13:26Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings [73.48336898620518]
大規模言語モデル (LLM) は質問への回答や推論に非常に適している。
本研究は,多言語多言語LLMの会話文脈における証明や言説の推論能力について考察する。
論文 参考訳(メタデータ) (2023-09-15T17:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。