論文の概要: Evolving LLM-Generated Features for Interpretable Classification

• arxiv url: http://arxiv.org/abs/2610.03951v1
• Date: Fri, 02 Oct 2026 19:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:12:18.075938
• Title: Evolving LLM-Generated Features for Interpretable Classification
• Title（参考訳）: 解釈可能な分類のためのLLM生成特徴の進化
• Abstract要約: 大規模言語モデル(LLM)は、分類器として使われることが多いが、解釈が難しい不透明なシステムとして機能する。 本稿では,解釈可能な分類のための自然言語特徴定義(論理)を反復的に発見する進化的枠組みを提案する。 我々は,規制ドメインの代表的信用リスクデータセット,シングルショットルーブリック,進化したルーブリック,直接ゼロショットLCM分類の3つのベンチマークで評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as classifiers, yet they operate as opaque systems whose decisions are difficult to interpret, which complicates their use in regulated domains such as credit scoring or medical diagnosis. We propose an evolutionary framework that iteratively discovers natural language feature definitions (rubrics) for interpretable classification. An LLM generates candidate binary features, evaluates each sample against them, and the resulting vectors can be used to train a transparent classifier such as logistic regression. The feature set evolves over multiple iterations guided by classification errors, per-class activation rates, and feature ablation scores. We evaluate across three benchmarks, including a credit risk dataset representative of regulated domains, comparing single-shot LLM rubrics, evolved rubrics, and direct zero-shot LLM classification. Evolved features improve over single-shot rubrics by +2.9 pp on average and outperform zero-shot LLM classification on two of three tasks, while providing fully auditable decision logic. On the credit risk task, the zero-shot LLM performs at chance (50.7%) with a strong bias toward a single class, whereas evolved features achieve balanced, interpretable predictions. Crucially, this failure is invisible in aggregate accuracy and surfaces only under per-class auditing. Analysis reveals that evolution is most effective when label boundaries cannot be inferred from category names alone or when the LLM lacks reliable domain-specific reasoning.
• Abstract（参考訳）: 大規模言語モデル (LLM) は分類器として使われることが多いが、解釈が難しい不透明なシステムとして機能し、信用スコアや診断などの規制領域での使用を複雑化する。 本稿では,解釈可能な分類のための自然言語特徴定義(論理)を反復的に発見する進化的枠組みを提案する。 LLMは、候補のバイナリ特徴を生成し、各サンプルをそれらに対して評価し、結果として得られるベクトルを使用して、ロジスティック回帰のような透明な分類器を訓練することができる。 機能セットは、分類エラー、クラスごとのアクティベーションレート、フィーチャーアブレーションスコアによって導かれる複数のイテレーションで進化する。 我々は,規制ドメインの代表的信用リスクデータセット,シングルショットLLMルーブリック,進化したルーブリック,直接ゼロショットLLM分類の3つのベンチマークで評価を行った。 進化した機能は、平均で+2.9ppの単発ルーブリックよりも改善され、3つのタスクのうち2つのゼロショットLLM分類よりも優れ、完全に監査可能な決定ロジックを提供する。 信用リスクタスクでは、ゼロショットLLMは単一のクラスに対して強いバイアスで(50.7%)実行され、一方で進化した特徴はバランスよく解釈可能な予測を達成している。 重要なことに、この障害は集合的精度では見えず、クラスごとの監査でのみ表面化される。 分析によれば、ラベル境界がカテゴリ名のみから推測できない場合や、LLMが信頼できるドメイン固有の推論を欠いている場合、進化が最も効果的である。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• The Impact of Critique on LLM-Based Model Generation from Natural Language: The Case of Activity Diagrams [1.3252590516094356]
  大規模言語モデル(LLM)は、自然言語記述からモデル生成を自動化する強力な可能性を示している。 LLM-driven critique-refine process を用いて、自然言語によるプロセス記述からアクティビティ図を導出するパイプライン LADEX を提案する。
  論文  参考訳（メタデータ） (2025-09-03T16:39:25Z)
• Self-Regularization with Sparse Autoencoders for Controllable LLM-based Classification [29.74457390987092]
  大規模言語モデル(LLM)潜在空間における意図しない特徴を特定し,規則化する新しいフレームワークを提案する。 本稿では,有毒なチャット検出,報酬モデリング,疾患診断を含む3つの実世界の課題に関する枠組みについて検討する。
  論文  参考訳（メタデータ） (2025-02-19T22:27:59Z)
• PCS: Perceived Confidence Scoring of Black Box LLMs with Metamorphic Relations [13.99995125334968]
  メタモーフィックリレーショナル(MR)を利用してテキスト入力を分類するLLMの信頼性を評価する手法を提案する。 MRは意味論的に等価だが、テキスト的に異なる入力バージョンを生成する。 予測されたラベルの周波数に基づいて、認識された信頼度スコア(PCS)を算出する。
  論文  参考訳（メタデータ） (2025-02-11T02:25:44Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Optimizing Class-Level Probability Reweighting Coefficients for Equitable Prompting Accuracy [12.287692969438169]
  LLMは、事前訓練されたデータの統計正則性からのバイアスをしばしば発見する。 これは、分類とQAにおいて、永続的で不均一なクラス精度をもたらす。 本研究では,非微分不可能な性能駆動メトリクスを直接最適化するポストホック確率再重み付け手法を開発した。
  論文  参考訳（メタデータ） (2024-05-13T10:30:33Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。