論文の概要: Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks

• arxiv url: http://arxiv.org/abs/2510.21884v1
• Date: Thu, 23 Oct 2025 20:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.633413
• Title: Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks
• Title（参考訳）: タスク分類のための大規模言語モデルにおける完全性推論の機械的評価のためのフレームワーク
• Authors: Avinash Patil,
• Abstract要約: 本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。 我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。 正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing adoption of machine learning (ML) in sensitive domains has heightened the demand for transparent and interpretable artificial intelligence. Large Language Models (LLMs) are increasingly capable of producing natural language explanations, yet it remains unclear whether these rationales faithfully capture the predictive signals that underlie decisions. This paper introduces RACE-Reasoning Alignment for Completeness of Explanations, a systematic framework to evaluate the alignment between LLM-generated explanations and interpretable feature importance scores derived from a logistic regression baseline. We analyze four widely used text classification datasets-WIKI ONTOLOGY, AG NEWS, IMDB, and GOEMOTIONS-and compare LLM rationales against top-ranked supporting and contradicting lexical features. To capture alignment at multiple levels of granularity, RACE implements token-aware, exact string, and edit-distance matching techniques. Empirical results reveal a consistent asymmetry: correct predictions exhibit higher coverage of supporting features, while incorrect predictions are associated with elevated coverage of contradicting features. Edit-distance matching further uncovers paraphrastic overlaps, boosting coverage while preserving this asymmetry. These findings demonstrate that LLM rationales combine both surface-level and flexible evidence reuse, yet can also amplify misleading cues in error cases. RACE provides new insights into the faithfulness of LLM explanations and establishes a quantitative basis for evaluating reasoning completeness in neural language models.
• Abstract（参考訳）: センシティブなドメインにおける機械学習(ML)の採用の増加は、透明性と解釈可能な人工知能の需要を高めている。 大規模言語モデル (LLMs) は、自然言語の説明を生成する能力がますます高まっているが、これらの理論的根拠が決定を下す予測シグナルを忠実に捉えているかどうかは不明である。 本稿では,LLMによる説明とロジスティック回帰ベースラインから導出される特徴重要度との整合性を評価するための体系的枠組みである,説明の完全性のためのRAS-Reasoning Alignmentを提案する。 我々は、広く使われている4つのテキスト分類データセット(WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONS)を分析し、LLMの理論的根拠を上位の支持と矛盾する語彙的特徴と比較する。 複数のレベルの粒度でアライメントをキャプチャするために、RSEはトークン認識、正確な文字列、編集距離マッチング技術を実装している。 正しい予測は支持特徴のより高いカバレッジを示すが、誤った予測は矛盾する特徴の増大カバレッジと関連している。 編集距離マッチングはさらにパラフレッシックなオーバーラップを明らかにし、この非対称性を維持しながらカバレッジを高める。 これらの結果から, LLMの理性は表面レベルとフレキシブルなエビデンスを併用するが, 誤り事例における誤解を招く手がかりを増幅する可能性も示唆された。 RACEは、LLM説明の忠実さに関する新たな洞察を提供し、ニューラルネットワークモデルにおける推論完全性を評価するための定量的基盤を確立する。

関連論文リスト

• CANDLE: A Cross-Modal Agentic Knowledge Distillation Framework for Interpretable Sarcopenia Diagnosis [3.0245458192729466]
  CANDLEは、解釈可能性と性能のトレードオフを緩和し、予測精度を高め、高い決定一貫性を維持する。 このフレームワークは、TMLモデルの知識アセット化に対するスケーラブルなアプローチを提供し、サルコピアおよび潜在的に広い医療領域における解釈可能、再現可能、および臨床的に整合した意思決定支援を可能にする。
  論文  参考訳（メタデータ） (2025-07-26T15:50:08Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Enhancing Large Language Models through Neuro-Symbolic Integration and Ontological Reasoning [0.0]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示すが、幻覚として知られる不正確さと論理的不整合に悩まされている。 本稿では,LLM出力の一貫性と信頼性を高めるために,記号的存在論的推論と機械学習を融合したニューロシンボリックアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-10T10:39:24Z)
• A Modular Dataset to Demonstrate LLM Abstraction Capability [3.0899016152680754]
  大きな言語モデル(LLM)は印象的な能力を示すが、幻覚や論理の欠陥による推論エラーに苦慮している。 ArrangementPuzzleは、構造化されたソリューションと段階的正当性の自動検証を備えた、新しいパズルデータセットである。 このデータセット上で, LLMアクティベーションに関する分類器モデルを訓練した結果, 推論精度の予測において80%以上の精度が得られた。
  論文  参考訳（メタデータ） (2025-03-22T04:25:30Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Integration of Explainable AI Techniques with Large Language Models for Enhanced Interpretability for Sentiment Analysis [0.5120567378386615]
  大規模言語モデル(LLM)による感情分析における解釈可能性の重要性 本研究では,LLMを埋め込み層,エンコーダ,デコーダ,アテンション層などのコンポーネントに分解することでSHAP(Shapley Additive Explanations)を適用する手法を提案する。 この方法はStanford Sentiment Treebank (SST-2)データセットを用いて評価され、異なる文が異なる層にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2025-03-15T01:37:54Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。