論文の概要: Applications of Large Language Model Reasoning in Feature Generation
- arxiv url: http://arxiv.org/abs/2503.11989v1
- Date: Sat, 15 Mar 2025 04:18:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 12:36:10.047796
- Title: Applications of Large Language Model Reasoning in Feature Generation
- Title（参考訳）: 大規模言語モデル推論の特徴生成への応用
- Authors: Dharani Chandra,
- Abstract要約: 大規模言語モデル(LLM)は、その技術推論能力を通じて自然言語処理に革命をもたらした。
本稿では,LLM推論手法の収束と,機械学習タスクの機能生成について考察する。
本論文は、金融、医療、テキスト分析など、さまざまな分野にまたがるLLMベースの特徴生成手法を分類する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Large Language Models (LLMs) have revolutionized natural language processing through their state of art reasoning capabilities. This paper explores the convergence of LLM reasoning techniques and feature generation for machine learning tasks. We examine four key reasoning approaches: Chain of Thought, Tree of Thoughts, Retrieval-Augmented Generation, and Thought Space Exploration. Our analysis reveals how these approaches can be used to identify effective feature generation rules without having to manually specify search spaces. The paper categorizes LLM-based feature generation methods across various domains including finance, healthcare, and text analytics. LLMs can extract key information from clinical notes and radiology reports in healthcare, by enabling more efficient data utilization. In finance, LLMs facilitate text generation, summarization, and entity extraction from complex documents. We analyze evaluation methodologies for assessing feature quality and downstream performance, with particular attention to OCTree's decision tree reasoning approach that provides language-based feedback for iterative improvements. Current challenges include hallucination, computational efficiency, and domain adaptation. As of March 2025, emerging approaches include inference-time compute scaling, reinforcement learning, and supervised fine-tuning with model distillation. Future directions point toward multimodal feature generation, self-improving systems, and neuro-symbolic approaches. This paper provides a detailed overview of an emerging field that promises to automate and enhance feature engineering through language model reasoning.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、その技術推論能力を通じて自然言語処理に革命をもたらした。
本稿では,LLM推論手法の収束と,機械学習タスクの機能生成について考察する。
本稿では,思考の連鎖,思考のツリー,検索・拡張生成,思考空間探索の4つの主要な推論手法について検討する。
本稿では,これらの手法を用いて,検索空間を手動で指定することなく,効率的な特徴生成規則を同定する方法を明らかにする。
本論文は、金融、医療、テキスト分析など、さまざまな分野にまたがるLLMベースの特徴生成手法を分類する。
LLMは、より効率的なデータ利用を可能にすることで、医療における臨床ノートや放射線学レポートから重要な情報を抽出することができる。
財務面では、LLMは複雑な文書からテキストの生成、要約、エンティティ抽出を容易にする。
我々は,OCTreeの意思決定木推論アプローチに着目し,特徴量と下流性能を評価するための評価手法を解析し,反復的改善のための言語ベースのフィードバックを提供する。
現在の課題は幻覚、計算効率、ドメイン適応である。
2025年3月現在、新しいアプローチには、推論時の計算スケーリング、強化学習、モデル蒸留による教師付き微調整などがある。
今後の方向性は、マルチモーダルな特徴生成、自己改善システム、およびニューロシンボリックアプローチに向けられている。
本稿では,言語モデル推論による機能工学の自動化と強化を約束する新興分野の概要を紹介する。
関連論文リスト
- Leveraging Large Language Models to Generate Course-specific Semantically Annotated Learning Objects [2.1845291030915974]
生成自然言語モデルの最近の進歩は、教育コンテンツの生成に新たな可能性をもたらしている。
本稿では,自動学習者モデル更新に十分な注釈を付けたコンピュータサイエンス質問を生成するための,大規模言語モデルの可能性について検討する。
論文 参考訳（メタデータ） (2024-12-05T14:24:07Z) - Large Language Model for Qualitative Research -- A Systematic Mapping Study [3.302912592091359]
先進的な生成AIを駆使した大規模言語モデル(LLM)がトランスフォーメーションツールとして登場した。
本研究は, LLMを用いた定性的研究に関する文献を体系的にマッピングする。
LLMは様々な分野にまたがって利用されており、プロセスの自動化の可能性を示している。
論文 参考訳（メタデータ） (2024-11-18T21:28:00Z) - From Feature Importance to Natural Language Explanations Using LLMs with RAG [4.204990010424084]
大規模言語モデル(LLM)の応答に外部知識リポジトリを活用して,トレーサブルな質問応答を導入する。
この知識リポジトリは、高レベルの特徴、特徴の重要性、代替確率を含む、モデルの出力に関するコンテキストの詳細を含む。
社会的・因果的・選択的・コントラスト的な4つの重要な特徴を、人間の説明に関する社会科学研究から一発のプロンプトへと統合し、応答生成過程を導く。
論文 参考訳（メタデータ） (2024-07-30T17:27:20Z) - A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。
新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-26T06:39:35Z) - Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。
我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。
OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
論文 参考訳（メタデータ） (2024-06-12T08:31:34Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。
この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
論文 参考訳（メタデータ） (2023-11-15T15:12:15Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - Neural Authorship Attribution: Stylometric Analysis on Large Language
Models [16.63955074133222]
GPT-4、PaLM、Llamaのような大規模言語モデル(LLM)は、AIによるテキスト生成を著しく推進している。
誤用の可能性に対する懸念が高まっているため、AI生成テキストの鑑識の必要性が高まっている。
論文 参考訳（メタデータ） (2023-08-14T17:46:52Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳（メタデータ） (2023-07-10T11:29:41Z) - Offline RL for Natural Language Generation with Implicit Language Q
Learning [87.76695816348027]
ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。
本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。
ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
論文 参考訳（メタデータ） (2022-06-05T18:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。