論文の概要: Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance

• arxiv url: http://arxiv.org/abs/2402.14531v2
• Date: Mon, 14 Oct 2024 12:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:03:16.258672
• Title: Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance
• Title（参考訳）: LLMを尊重すべきか? : LLM性能に及ぼすプロンプトポリトネスの影響に関する言語横断的研究
• Authors: Ziqi Yin, Hao Wang, Kaito Horio, Daisuke Kawahara, Satoshi Sekine,
• Abstract要約: 本研究は,英語,中国語,日本語タスクの多言語モデル(LLM)に対するプロンプトの丁寧さの影響を評価する。 不規則なプロンプトがしばしばパフォーマンスを低下させるが、過度に丁寧な言語はより良い結果を保証しない。
• 参考スコア（独自算出の注目度）: 16.7036374022386
• License:
• Abstract: We investigate the impact of politeness levels in prompts on the performance of large language models (LLMs). Polite language in human communications often garners more compliance and effectiveness, while rudeness can cause aversion, impacting response quality. We consider that LLMs mirror human communication traits, suggesting they align with human cultural norms. We assess the impact of politeness in prompts on LLMs across English, Chinese, and Japanese tasks. We observed that impolite prompts often result in poor performance, but overly polite language does not guarantee better outcomes. The best politeness level is different according to the language. This phenomenon suggests that LLMs not only reflect human behavior but are also influenced by language, particularly in different cultural contexts. Our findings highlight the need to factor in politeness for cross-cultural natural language processing and LLM usage.
• Abstract（参考訳）: 大規模言語モデル (LLM) の性能に及ぼすプロンプトの丁寧度レベルの影響について検討する。 人間のコミュニケーションにおけるポリト言語は、よりコンプライアンスと効率性を高め、無礼は逆転を引き起こし、応答品質に影響を及ぼす。 LLMは人間のコミュニケーション特性を反映しており、人間の文化規範と一致していると考えられる。 我々は、英語、中国語、日本語タスクにおけるLLMに対するプロンプトの丁寧さの影響を評価する。 不規則なプロンプトがしばしばパフォーマンスを低下させるが、過度に丁寧な言語はより良い結果を保証しない。 最高の丁寧さは言語によって異なる。 この現象は、LLMが人間の行動を反映するだけでなく、言語、特に異なる文化的文脈にも影響されていることを示唆している。 本研究は,多文化間自然言語処理とLLM利用における礼儀正しさの必要性を明らかにするものである。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Do language models practice what they preach? Examining language ideologies about gendered language reform encoded in LLMs [6.06227550292852]
  我々は、英語のジェンダー化言語改革を事例として、LLMが作成したテキストにおける言語イデオロギーについて研究する。 LLMは「正しい」あるいは「自然な」言語を使うよう求められた時、保守的な(進歩的な)価値観に合わせるよう求められた時と、最もよく似た言語を使用する。 このことは、LLMが生成したテキストで表現される言語イデオロギーがいかに異なるかを示しており、これはユーザにとって予期せぬことである。
  論文  参考訳（メタデータ） (2024-09-20T18:55:48Z)
• Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
  インタラクションの文脈的特徴が依存に与える影響について検討する。 文脈特性が人間の信頼行動に大きく影響していることが判明した。 これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:00:05Z)
• Is the Pope Catholic? Yes, the Pope is Catholic. Generative Evaluation of Non-Literal Intent Resolution in LLMs [29.09074652003724]
  非リテラル発話に対する応答を調べることで,大規模言語モデル(LLM)の意図的理解を評価する。 以上の結果から,LLMは非リテラル言語に対する実用的応答の獲得に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-14T16:48:56Z)
• Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
  大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
  論文  参考訳（メタデータ） (2024-03-15T12:47:39Z)
• How do Large Language Models Navigate Conflicts between Honesty and Helpfulness? [14.706111954807021]
  人間の振る舞いを特徴付けるための心理モデルと実験を用いて、大きな言語モデルを分析する。 人間のフィードバックからの強化学習は、誠実さと有用性の両方を改善している。 GPT-4 Turboは、会話のフレーミングやリスナーの判断コンテキストに対する感度を含む人間的な応答パターンを実証する。
  論文  参考訳（メタデータ） (2024-02-11T19:13:26Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding [1.3654846342364308]
  LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。 本論文は,LLM能力の批判において再発する3点を批判的に評価する。 LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
  論文  参考訳（メタデータ） (2023-10-30T15:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。