論文の概要: Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt
Politeness on LLM Performance
- arxiv url: http://arxiv.org/abs/2402.14531v1
- Date: Thu, 22 Feb 2024 13:24:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 15:02:16.512555
- Title: Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt
Politeness on LLM Performance
- Title(参考訳): LLMを尊重すべきか?
LLM性能に及ぼすプロンプト性の影響に関する言語横断的研究
- Authors: Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara, Satoshi Sekine
- Abstract要約: 本研究は,英語,中国語,日本語タスクの多言語モデル(LLM)に対するプロンプトの丁寧さの影響を評価する。
不規則なプロンプトがしばしばパフォーマンスを低下させるが、過度に丁寧な言語はより良い結果を保証しない。
- 参考スコア(独自算出の注目度): 17.920429805970866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the impact of politeness levels in prompts on the performance
of large language models (LLMs). Polite language in human communications often
garners more compliance and effectiveness, while rudeness can cause aversion,
impacting response quality. We consider that LLMs mirror human communication
traits, suggesting they align with human cultural norms. We assess the impact
of politeness in prompts on LLMs across English, Chinese, and Japanese tasks.
We observed that impolite prompts often result in poor performance, but overly
polite language does not guarantee better outcomes. The best politeness level
is different according to the language. This phenomenon suggests that LLMs not
only reflect human behavior but are also influenced by language, particularly
in different cultural contexts. Our findings highlight the need to factor in
politeness for cross-cultural natural language processing and LLM usage.
- Abstract(参考訳): 大規模言語モデル (LLM) の性能に及ぼすプロンプトの丁寧度レベルの影響について検討する。
人間のコミュニケーションにおけるポリト言語は、よりコンプライアンスと効率性を高め、無礼は逆転を引き起こし、応答品質に影響を及ぼす。
LLMは人間のコミュニケーション特性を反映しており、人間の文化規範と一致していると考えられる。
我々は、英語、中国語、日本語タスクにおけるLLMに対するプロンプトの丁寧さの影響を評価する。
不規則なプロンプトがしばしばパフォーマンスを低下させるが、過度に丁寧な言語はより良い結果を保証しない。
最高の礼儀正しいレベルは言語によって異なります。
この現象は、LLMが人間の行動を反映するだけでなく、言語、特に異なる文化的文脈にも影響されていることを示唆している。
本研究は,多文化間自然言語処理とLLM利用における礼儀正しさの必要性を明らかにするものである。
関連論文リスト
- Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳(メタデータ) (2024-05-07T20:28:34Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - How do Large Language Models Navigate Conflicts between Honesty and
Helpfulness? [14.706111954807021]
人間の振る舞いを特徴付けるための心理モデルと実験を用いて、大きな言語モデルを分析する。
人間のフィードバックからの強化学習は、誠実さと有用性の両方を改善している。
GPT-4 Turboは、会話のフレーミングやリスナーの判断コンテキストに対する感度を含む人間的な応答パターンを実証する。
論文 参考訳(メタデータ) (2024-02-11T19:13:26Z) - Large language models can enhance persuasion through linguistic feature
alignment [3.054681017071983]
本研究では,大規模言語モデル(LLM)が,金融業界における消費者の苦情に対するデータを用いた人的コミュニケーションに与える影響について検討する。
ChatGPT のリリース直後に LLM の利用が急増していることが判明した。
計算言語学的分析は、LLMsによる様々な言語的特徴の強化によって、正の相関が説明できることを示唆している。
論文 参考訳(メタデータ) (2023-11-28T04:07:34Z) - DRESS: Instructing Large Vision-Language Models to Align and Interact with Humans via Natural Language Feedback [61.28463542324576]
本稿では,大規模言語モデルから自然言語フィードバック(NLF)を革新的に活用する大規模視覚言語モデル(LVLM)であるDRESSを紹介する。
我々は,NLFの新たな分類法を2つの重要なタイプに分類する。
実験の結果、DRESSはより有用な(9.76%)、正直な(11.52%)、無害な(21.03%)を生成できることが示された。
論文 参考訳(メタデータ) (2023-11-16T18:37:29Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。
冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
論文 参考訳(メタデータ) (2023-10-16T05:19:02Z) - Are Multilingual LLMs Culturally-Diverse Reasoners? An Investigation into Multicultural Proverbs and Sayings [73.48336898620518]
大規模言語モデル (LLM) は質問への回答や推論に非常に適している。
本研究は,多言語多言語LLMの会話文脈における証明や言説の推論能力について考察する。
論文 参考訳(メタデータ) (2023-09-15T17:45:28Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。