論文の概要: CoFEE: Reasoning Control for LLM-Based Feature Discovery

• arxiv url: http://arxiv.org/abs/2604.21584v1
• Date: Thu, 23 Apr 2026 12:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.480061
• Title: CoFEE: Reasoning Control for LLM-Based Feature Discovery
• Title（参考訳）: CoFEE: LLMに基づく特徴発見のための推論制御
• Authors: Maximilian Westermann, Ben Griffin, Aaron Ontoyin Yin, Zakari Salifu, Yagiz Ihlamur, Kelvin Amoaba, Joseph Ternasky, Fuat Alican, Yigit Ihlamur,
• Abstract要約: 本研究では,言語モデル(LLM)における特徴発見を改善するための認知行動の誘導による推論制御について検討する。 特徴発見におけるLLMの理由について,認知行動を実施するための推論フレームワークであるCoFEEを紹介した。 CoFEEは、バニラアプローチよりも15.2%高い平均成功率スコアを達成し、29%の機能を発生させ、53.3%のコスト削減を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature discovery from complex unstructured data is fundamentally a reasoning problem: it requires identifying abstractions that are predictive of a target outcome while avoiding leakage, proxies, and post-outcome signals. With the introduction of ever-improving Large Language Models (LLMs), our method provides a structured method for addressing this challenge. LLMs are well suited for this task by being able to process large amounts of information, but unconstrained feature generation can lead to weak features. In this work, we study reasoning control in LLMs by inducing cognitive behaviors for improving feature discovery. We introduce CoFEE (Cognitive Feature Engineering Engine), a reasoning control framework that enforces cognitive behaviors in how the LLM reasons during feature discovery. From a machine learning perspective, these cognitive behaviors act as structured inductive biases over the space of candidate features generated by the model. These behaviors have been exploited with success in ML models, and include backward chaining from outcomes, subgoal decomposition, verification against observability and leakage criteria, and explicit backtracking of rejected reasoning paths. In a controlled comparison, we show that enforcing cognitive behaviors yields features with higher empirical predictability than those under unconstrained vanilla LLM prompts. CoFEE achieves an average Success Rate Score that is 15.2% higher than the vanilla approach, while generating 29% fewer features and reducing costs by 53.3%. Using held-out feature evaluation, we assess whether cognitively induced features generalize beyond the data used for discovery. Our results indicate that, in our evaluated setting, reasoning control is associated with improvements in quality and efficiency of LLM-based feature discovery.
• Abstract（参考訳）: 複雑な非構造化データからの特徴発見は、基本的には推論の問題である: リークやプロキシ、ポストアウトカム信号を避けながら、対象とする結果を予測する抽象化を識別する必要がある。 LLM(Enext-improving Large Language Models)の導入により,本手法はこの課題に対処するための構造化された手法を提供する。 LLMは大量の情報を処理できるので、このタスクには適しているが、制約のない特徴生成は弱い特徴をもたらす可能性がある。 本研究では,認知行動の誘導によるLCMの推論制御について検討し,特徴発見の改善を目的とした。 CoFEE(Cognitive Feature Engineering Engine:認知的特徴工学エンジン)は、特徴発見時にLLMが原因となる認知的振る舞いを強制する推論制御フレームワークである。 機械学習の観点からは、これらの認知行動はモデルによって生成される候補特徴の空間上の構造的帰納バイアスとして機能する。 これらの行動はMLモデルの成功によって悪用され、結果からの後方連鎖、下位分解、可観測性および漏洩基準に対する検証、拒絶された推論経路の明示的な追跡を含む。 制御された比較では, 認知行動の強制は, 無拘束のバニラLPMプロンプトよりも経験的予測可能性の高い特徴をもたらすことが示された。 CoFEEは、バニラアプローチよりも15.2%高い平均成功率スコアを達成し、29%の機能を発生させ、53.3%のコスト削減を実現している。 保持的特徴評価を用いて、認知誘発特徴が発見に使用されるデータを超えて一般化されるか否かを評価する。 評価結果から,LLMによる特徴発見の精度と効率の向上が推察制御に結びついていることが示唆された。

関連論文リスト

• CARE: Turning LLMs Into Causal Reasoning Expert [14.390784501489733]
  大規模言語モデル(LLM)には因果関係を識別する能力がないことを示す。 LLMの因果推論能力を高めるフレームワークであるCAREを提案する。
  論文  参考訳（メタデータ） (2025-11-20T03:34:16Z)
• Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing [12.835224376066769]
  大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。 本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
  論文  参考訳（メタデータ） (2025-09-26T12:07:47Z)
• Mitigating Hidden Confounding by Progressive Confounder Imputation via Large Language Models [46.92706900119399]
  大規模言語モデル (LLMs) を用いた隠れコンファウンディングの軽減に向けた最初の試みを行う。 本稿では,LLMのセマンティック知識と世界知識を利用して,隠れた共同創設者を反復的に生成し,指示し,検証するフレームワークであるProCIを提案する。 大規模な実験により、ProCIは有意義な共同設立者を明らかにし、治療効果の推定を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-06-26T03:49:13Z)
• Patterns Over Principles: The Fragility of Inductive Reasoning in LLMs under Noisy Observations [43.491353243991284]
  本稿では,雑音の多い例で融合したデータからルールを推論する際の,大規模言語モデルの能力を評価するタスクであるRobust Rule Injectionを紹介する。 1)SRRはノイズ下での性能劣化を最小限に抑えた他の手法よりも優れており、(2)若干の精度の変化にもかかわらず、LLMはノイズ下で不安定を示す。
  論文  参考訳（メタデータ） (2025-02-22T10:03:19Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
  大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。 Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。 本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。