論文の概要: Can LLMs Faithfully Explain Themselves in Low-Resource Languages? A Case Study on Emotion Detection in Persian

• arxiv url: http://arxiv.org/abs/2511.19719v1
• Date: Mon, 24 Nov 2025 21:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.170776
• Title: Can LLMs Faithfully Explain Themselves in Low-Resource Languages? A Case Study on Emotion Detection in Persian
• Title（参考訳）: LLMは低資源言語におけるテーマを忠実に説明できるか? : ペルシャ語における感情検出を事例として
• Authors: Mobina Mehrazar, Mohammad Amin Yousefi, Parisa Abolfath Beygi, Behnam Bahrak,
• Abstract要約: 大規模言語モデル(LLM)は、予測と並行して自己説明を生成するためにますます使用される。 本研究では,ペルシャ語における感情分類の文脈におけるLLM生成の説明の忠実性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used to generate self-explanations alongside their predictions, a practice that raises concerns about the faithfulness of these explanations, especially in low-resource languages. This study evaluates the faithfulness of LLM-generated explanations in the context of emotion classification in Persian, a low-resource language, by comparing the influential words identified by the model against those identified by human annotators. We assess faithfulness using confidence scores derived from token-level log-probabilities. Two prompting strategies, differing in the order of explanation and prediction (Predict-then-Explain and Explain-then-Predict), are tested for their impact on explanation faithfulness. Our results reveal that while LLMs achieve strong classification performance, their generated explanations often diverge from faithful reasoning, showing greater agreement with each other than with human judgments. These results highlight the limitations of current explanation methods and metrics, emphasizing the need for more robust approaches to ensure LLM reliability in multilingual and low-resource contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に低リソース言語において、これらの説明の忠実さに対する懸念を提起するプラクティスである予測と共に自己説明を生成するために、ますます使用されるようになっている。 本研究では, 低リソース言語ペルシャ語における感情分類の文脈におけるLLM生成の説明の忠実さを, モデルによって同定された影響力のある単語と人間のアノテータが同定した単語とを比較して評価した。 トークンレベルのログ確率から得られた信頼度スコアを用いて信頼度を評価する。 説明の順序と予測の順序が異なる2つのプロンプト戦略(予測-then-Explain と Explain-then-Predict)が、説明の忠実性への影響について試験される。 以上の結果から, LLMは強い分類性能を達成できるが, それらの説明は忠実な推論から分岐し, 人的判断よりも相互に一致していることが明らかとなった。 これらの結果は、現在の説明手法とメトリクスの限界を強調し、多言語および低リソースのコンテキストにおいてLLMの信頼性を確保するためのより堅牢なアプローチの必要性を強調している。

関連論文リスト

• Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers [13.644277507363036]
  Revealed Beliefは,不確実性を考慮した推論を必要とするタスクに対して,Large Language Models (LLMs)を評価する評価フレームワークである。 以上の結果から,LSMは正しい回答をしばしば述べるが,Revealed Beliefは確率質量を不整合に割り当てることが多く,体系的な偏見を示し,新しい証拠が提示された時にその信念を適切に更新することができないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T08:56:35Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Inference to the Best Explanation in Large Language Models [14.846962816266188]
  Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。 IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。 実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T15:41:23Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [60.45183469474916]
  大規模言語モデルの忠実度を評価し改善するモデルに依存しないフレームワークであるFaithLMを紹介した。 FaithLMは一貫して忠実度を高め、強い自己説明ベースラインよりも人間の合理性に整合した説明を生成する。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。