論文の概要: Can LLMs Faithfully Explain Themselves in Low-Resource Languages? A Case Study on Emotion Detection in Persian

• arxiv url: http://arxiv.org/abs/2511.19719v1
• Date: Mon, 24 Nov 2025 21:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.170776
• Title: Can LLMs Faithfully Explain Themselves in Low-Resource Languages? A Case Study on Emotion Detection in Persian
• Title（参考訳）: LLMは低資源言語におけるテーマを忠実に説明できるか? : ペルシャ語における感情検出を事例として
• Authors: Mobina Mehrazar, Mohammad Amin Yousefi, Parisa Abolfath Beygi, Behnam Bahrak,
• Abstract要約: 大規模言語モデル(LLM)は、予測と並行して自己説明を生成するためにますます使用される。 本研究では,ペルシャ語における感情分類の文脈におけるLLM生成の説明の忠実性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) are increasingly used to generate self-explanations alongside their predictions, a practice that raises concerns about the faithfulness of these explanations, especially in low-resource languages. This study evaluates the faithfulness of LLM-generated explanations in the context of emotion classification in Persian, a low-resource language, by comparing the influential words identified by the model against those identified by human annotators. We assess faithfulness using confidence scores derived from token-level log-probabilities. Two prompting strategies, differing in the order of explanation and prediction (Predict-then-Explain and Explain-then-Predict), are tested for their impact on explanation faithfulness. Our results reveal that while LLMs achieve strong classification performance, their generated explanations often diverge from faithful reasoning, showing greater agreement with each other than with human judgments. These results highlight the limitations of current explanation methods and metrics, emphasizing the need for more robust approaches to ensure LLM reliability in multilingual and low-resource contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に低リソース言語において、これらの説明の忠実さに対する懸念を提起するプラクティスである予測と共に自己説明を生成するために、ますます使用されるようになっている。 本研究では, 低リソース言語ペルシャ語における感情分類の文脈におけるLLM生成の説明の忠実さを, モデルによって同定された影響力のある単語と人間のアノテータが同定した単語とを比較して評価した。 トークンレベルのログ確率から得られた信頼度スコアを用いて信頼度を評価する。 説明の順序と予測の順序が異なる2つのプロンプト戦略(予測-then-Explain と Explain-then-Predict)が、説明の忠実性への影響について試験される。 以上の結果から, LLMは強い分類性能を達成できるが, それらの説明は忠実な推論から分岐し, 人的判断よりも相互に一致していることが明らかとなった。 これらの結果は、現在の説明手法とメトリクスの限界を強調し、多言語および低リソースのコンテキストにおいてLLMの信頼性を確保するためのより堅牢なアプローチの必要性を強調している。

関連論文リスト

• Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders [29.356200147371275]
  大きな言語モデル(LLM)は人間のクエリを扱うのに優れていますが、時に欠陥や予期せぬ応答を生成することができます。 特徴解釈と相互情報に基づく目的設計のための固定語彙集合を提案する。 そこで本研究では,学習した機能アクティベーションを,対応する説明に基づいて調整する2つの実行時ステアリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-21T16:36:42Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Do Large Language Models Exhibit Cognitive Dissonance? Studying the Difference Between Revealed Beliefs and Stated Answers [13.644277507363036]
  Revealed Beliefは,不確実性を考慮した推論を必要とするタスクに対して,Large Language Models (LLMs)を評価する評価フレームワークである。 以上の結果から,LSMは正しい回答をしばしば述べるが,Revealed Beliefは確率質量を不整合に割り当てることが多く,体系的な偏見を示し,新しい証拠が提示された時にその信念を適切に更新することができないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T08:56:35Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Inference to the Best Explanation in Large Language Models [14.846962816266188]
  Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。 IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。 実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-16T15:41:23Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [60.45183469474916]
  大規模言語モデルの忠実度を評価し改善するモデルに依存しないフレームワークであるFaithLMを紹介した。 FaithLMは一貫して忠実度を高め、強い自己説明ベースラインよりも人間の合理性に整合した説明を生成する。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• Faithfulness vs. Plausibility: On the (Un)Reliability of Explanations from Large Language Models [26.11408084129897]
  大規模言語モデル(LLM)は、いくつかの自然言語処理(NLP)アプリケーションのための強力なツールとしてデプロイされる。 最近の研究は、現代のLSMが自己説明(Ses)を生成できることを示している。 LLMが生成するSEの忠実度と妥当性の両立を論じる。
  論文  参考訳（メタデータ） (2024-02-07T06:32:50Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• Quantifying Uncertainty in Natural Language Explanations of Large Language Models [29.34960984639281]
  大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。 生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。 ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
  論文  参考訳（メタデータ） (2023-11-06T21:14:40Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。