論文の概要: Trusting CHATGPT: how minor tweaks in the prompts lead to major differences in sentiment classification

• arxiv url: http://arxiv.org/abs/2504.12180v1
• Date: Wed, 16 Apr 2025 15:37:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:30.916880
• Title: Trusting CHATGPT: how minor tweaks in the prompts lead to major differences in sentiment classification
• Title（参考訳）: CHATGPTを信頼する:感情分類の微調整がいかにして大きな違いをもたらすか
• Authors: Jaime E. Cuellar, Oscar Moreno-Martinez, Paula Sofia Torres-Rodriguez, Jaime Andres Pavlich-Mariscal, Andres Felipe Mican-Castiblanco, Juan Guillermo Torres-Hurtado,
• Abstract要約: 本研究では,インプットの構造の微妙な変化が,感情極性分析の分類結果に有意な変化をもたらすことはないという仮説を検証した。 ラテンアメリカの4人の大統領に対するスペイン語で10万件のコメントのデータセットを用いて、このモデルは10回ごとに肯定的、否定的、中立的なコメントを分類し、それぞれのプロンプトをわずかに変化させた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: One fundamental question for the social sciences today is: how much can we trust highly complex predictive models like ChatGPT? This study tests the hypothesis that subtle changes in the structure of prompts do not produce significant variations in the classification results of sentiment polarity analysis generated by the Large Language Model GPT-4o mini. Using a dataset of 100.000 comments in Spanish on four Latin American presidents, the model classified the comments as positive, negative, or neutral on 10 occasions, varying the prompts slightly each time. The experimental methodology included exploratory and confirmatory analyses to identify significant discrepancies among classifications. The results reveal that even minor modifications to prompts such as lexical, syntactic, or modal changes, or even their lack of structure impact the classifications. In certain cases, the model produced inconsistent responses, such as mixing categories, providing unsolicited explanations, or using languages other than Spanish. Statistical analysis using Chi-square tests confirmed significant differences in most comparisons between prompts, except in one case where linguistic structures were highly similar. These findings challenge the robustness and trust of Large Language Models for classification tasks, highlighting their vulnerability to variations in instructions. Moreover, it was evident that the lack of structured grammar in prompts increases the frequency of hallucinations. The discussion underscores that trust in Large Language Models is based not only on technical performance but also on the social and institutional relationships underpinning their use.
• Abstract（参考訳）: 今日の社会科学の根本的な疑問は、ChatGPTのような非常に複雑な予測モデルを、どの程度信頼できるのか、ということです。 本研究は,大規模言語モデル GPT-4o mini による感情極性分析の分類結果において,プロンプトの構造の微妙な変化が有意な変化をもたらすことはないという仮説を検証した。 ラテンアメリカの4人の大統領に対するスペイン語で10万件のコメントのデータセットを用いて、このモデルは10回ごとに肯定的、否定的、中立的なコメントを分類し、それぞれのプロンプトをわずかに変化させた。 実験手法は, 分類間で有意な差異を識別するための探索的および確認的分析を含む。 その結果,語彙的,構文的,モーダル的変化などのプロンプトへの微調整や,構造的変化の欠如が分類に影響を及ぼすことが明らかとなった。 ある場合において、このモデルは、カテゴリーを混ぜたり、不可解な説明を提供したり、スペイン語以外の言語を使用したり、一貫性のない反応を生み出した。 Chi-square test を用いた統計的解析では,言語構造が極めて類似した1例を除いて,プロンプト間の比較において有意な差が認められた。 これらの発見は、分類タスクに対するLarge Language Modelsの堅牢性と信頼性に挑戦し、その脆弱性を命令のバリエーションに強調した。 さらに,構造化文法の欠如が幻覚の頻度を増大させることが明らかとなった。 この議論は、大規模言語モデルに対する信頼は、技術的パフォーマンスだけでなく、その使用を支える社会的・制度的な関係にも基づいていることを強調している。

関連論文リスト

• Counterfactual Samples Constructing and Training for Commonsense Statements Estimation [17.970740197590693]
  可塑性推定は、言語モデルが現実世界を客観的に理解できるようにする上で重要な役割を果たす。 理想的なPEモデルの2つの重要な特徴を欠いている。 本稿では,Commonsense Counterfactual Samples Generatingと呼ばれる新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2024-12-29T20:18:52Z)
• The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification [57.06913662622832]
  ジェンダーフェア言語は、すべての性別に対処したり、中立形を使用することによって包摂性を促進する。 ジェンダーフェア言語はラベルを反転させ、確実性を減らし、注意パターンを変化させることで予測に大きな影響を及ぼす。 ドイツ語のテキスト分類への影響について最初の知見を提供する一方で、他の言語にもその知見が当てはまる可能性が高い。
  論文  参考訳（メタデータ） (2024-09-26T15:08:17Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Cross-Lingual Transfer of Cognitive Processing Complexity [11.939409227407769]
  我々は,構造的複雑さの認知指標として,文レベルの視線追跡パターンを用いる。 マルチ言語モデル XLM-RoBERTa は,13言語に対して様々なパターンを予測できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:48:23Z)
• Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
  我々は機械翻訳戦略の推進に関する体系的研究を行っている。 本稿では,プロンプトテンプレートと実演例選択の要因について検討する。 本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
  論文  参考訳（メタデータ） (2023-01-17T18:32:06Z)
• Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task [0.0]
  Genre IDは、非トピックテキスト分類のサブクラスである。 BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
  論文  参考訳（メタデータ） (2022-06-15T09:59:05Z)
• More Than Words: Towards Better Quality Interpretations of Text Classifiers [16.66535643383862]
  MLモデルの入力インタフェースを考えると、トークンベースの解釈性は便利な第1選択であるが、あらゆる状況において最も効果的ではないことを示す。 1)ランダム化テストにより測定されるほど頑健であり,2)SHAPのような近似に基づく手法を用いた場合の変動性が低く,3)言語的コヒーレンスがより高い水準にある場合の人間には理解できない。
  論文  参考訳（メタデータ） (2021-12-23T10:18:50Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• ABNIRML: Analyzing the Behavior of Neural IR Models [45.74073795558624]
  BERTやT5のような事前訓練された言語モデルは、アドホック検索のための新しい最先端技術を確立した。 ニューラルIRモードL(ABNIRML)の挙動解析のための包括的枠組みを提案する。 我々は、ニューラルネットワークの利得に寄与する要因についての洞察を得るための実証的研究を行う。
  論文  参考訳（メタデータ） (2020-11-02T03:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。