論文の概要: Interpretable Feature Discovery from Unstructured Data Using LLMs and Statistical Choice Models

• arxiv url: http://arxiv.org/abs/2610.38082v1
• Date: Tue, 27 Oct 2026 23:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.347683
• Title: Interpretable Feature Discovery from Unstructured Data Using LLMs and Statistical Choice Models
• Title（参考訳）: LLMと統計的選択モデルを用いた非構造データからの解釈可能な特徴発見
• Abstract要約: 一方、解釈可能な機能には、コストがかかり、しばしば実用的でない手動エンジニアリングが必要である。 大きな言語モデル(LLM)は、生データを読み、解釈可能な言葉で記述できるため、自然なブリッジを提供する。 本研究では,非構造化データから解釈可能な決定関連特徴を自動的に検出する手法を提案する。
• 参考スコア（独自算出の注目度）: 1.0323063834827415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature extraction from unstructured data typically relies on opaque embeddings unsuited to interpretable decision-making. Interpretable features, on the other hand, typically require costly, and often infeasible, hand-engineering. Large language models (LLMs) offer a natural bridge, as they can read raw data and describe it in interpretable terms. One could simply ask an LLM to extract features from a large sample of the dataset, but context limitations and diluted attention can lead to unsatisfactory results. We introduce a method that automatically discovers interpretable, decision-relevant features from unstructured data. Our key idea is to perform pairwise comparisons between items, asking an LLM to articulate, in interpretable terms, the features distinguishing each pair. We treat these explanations, or rationales, as data: we develop a statistical choice model that combines these rationales across the comparisons to identify relevant features and estimate per-item, per-feature scores. We first test our method on a synthetic hiring dataset of cover letters with known ground-truth features and show that it significantly outperforms direct LLM feature extraction in feature recovery. We then apply it to the ChangeMyView (Reddit) debate dataset, where it discovers several interpretable features associated with persuasion while reaching predictive accuracy comparable to established baselines. We also show how the same rationales can be used to audit LLM decisions, yielding a holistic score whose decomposition over interpretable features reveals what the LLM rewards.
• Abstract（参考訳）: 構造化されていないデータからの特徴抽出は通常、解釈可能な意思決定に適さない不透明な埋め込みに依存します。 一方、解釈可能な機能は通常、コストがかかり、しばしば手動操作が不可能である。 大きな言語モデル(LLM)は、生データを読み、解釈可能な言葉で記述できるため、自然なブリッジを提供する。 LLMにデータセットの大きなサンプルから特徴を抽出するよう依頼するだけでよいが、コンテキスト制限と希薄な注意が満足のいく結果につながる可能性がある。 本研究では,非構造化データから解釈可能な決定関連特徴を自動的に検出する手法を提案する。 私たちのキーとなる考え方は、アイテム間のペアワイズ比較を行い、LLMに相互に区別する特徴を解釈可能な言葉で説明するように求めることです。 我々は、これらの説明や合理性をデータとして扱う: 比較にまたがってこれらの合理性を組み合わせた統計的選択モデルを構築し、関連する特徴を特定し、機能毎のスコアを見積もる。 提案手法は,まず,表層構造を持つ表層文字の合成雇用データセット上で検証し,特徴回復において直接LLM特徴抽出よりも優れた性能を示すことを示す。 次に、ChangeMyView(Reddit)の議論データセットに適用し、既存のベースラインに匹敵する予測精度に達しながら、説得に関連するいくつかの解釈可能な機能を発見します。 また、LLMの決定を監査するために、同じ論理がどのように用いられるかを示し、解釈可能な特徴に対する分解がLLMの報奨を示す総観的なスコアを得る。

関連論文リスト

• LLMs as Feature Engineers for Text-and-Tabular Prediction [3.7214602588772396]
  本稿では,非構造化テキストから解釈可能なスキーマ境界の分類的特徴を抽出する反復的フレームワークを提案する。 我々は、AUCランキングインバージョンのような明示的なモデルエラーを自然言語フィードバックに変換することで、この探索を最適化する。 このフレームワークは、インスタンスレベルの解釈可能性を保証する。発見された機能はSHAPの重要ランキングを支配し、すべての予測に対して完全に透明でセマンティックな監査証跡を提供する。
  論文  参考訳（メタデータ） (2026-09-18T15:22:15Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。