論文の概要: LLM-Forest for Health Tabular Data Imputation

• arxiv url: http://arxiv.org/abs/2410.21520v1
• Date: Mon, 28 Oct 2024 20:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:41.589972
• Title: LLM-Forest for Health Tabular Data Imputation
• Title（参考訳）: LLM-Forest for Health Tabular Data Imputation (特集 バイオサイバネティックスとバイオサイバネティックス)
• Authors: Xinrui He, Yikun Ban, Jiaru Zou, Tianxin Wei, Curtiss B. Cook, Jingrui He,
• Abstract要約: 巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。 筆者らは,自信に基づく重み付き投票を伴う,数発の学習用LLM"ツリー"の"フォレスト"を導入した,新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、高品質な関連する隣り合うエントリを識別する。
• 参考スコア（独自算出の注目度）: 37.14344322899091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Missing data imputation is a critical challenge in tabular datasets, especially in healthcare, where data completeness is vital for accurate analysis. Large language models (LLMs), trained on vast corpora, have shown strong potential in data generation, making them a promising tool for tabular data imputation. However, challenges persist in designing effective prompts for a finetuning-free process and in mitigating the risk of LLM hallucinations. To address these issues, we propose a novel framework, LLM-Forest, which introduces a "forest" of few-shot learning LLM "trees" with confidence-based weighted voting. This framework is established on a new concept of bipartite information graphs to identify high-quality relevant neighboring entries with both feature and value granularity. Extensive experiments on four real-world healthcare datasets demonstrate the effectiveness and efficiency of LLM-Forest.
• Abstract（参考訳）: データ計算の欠如は、特に正確な分析にデータ完全性が不可欠である医療において、表形式のデータセットにおいて重要な課題である。 巨大なコーパスでトレーニングされた大規模言語モデル(LLM)は、データ生成に強い可能性を示しており、表形式のデータ計算のための有望なツールとなっている。 しかし、微調整のないプロセスのために効果的なプロンプトを設計し、LLM幻覚のリスクを軽減することには課題が続いている。 これらの課題に対処するために,自信に基づく重み付き投票を伴う,数発の学習用LLM"ツリー"の"フォレスト"を導入した,新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。 4つの実世界の医療データセットに対する大規模な実験は、LLM-Forestの有効性と効率を実証している。

関連論文リスト

• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• When Raw Data Prevails: Are Large Language Model Embeddings Effective in Numerical Data Representation for Medical Machine Learning Applications? [8.89829757177796]
  大規模言語モデルの最後の隠れ状態からベクター表現が医療診断および予後に有効であることを示す。 我々は,異常な生理的データを表すため,ゼロショット設定の命令調整LDMに着目し,それらのユーティリティを特徴抽出器として評価する。 医学MLタスクでは生データの特徴が依然として有効であることが示唆されているが、ゼロショットLSM埋め込みは競争力のある結果を示している。
  論文  参考訳（メタデータ） (2024-08-15T03:56:40Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language Models [0.18416014644193068]
  本稿では,精度インプット法(CLAIM)の文脈言語モデルを提案する。 従来の計算法とは異なり、CLAIMは文脈に関連のある自然言語記述子を使用して、欠落した値を埋める。 多様なデータセットや欠落パターンに対する評価は,既存の計算手法よりもCLAIMの方が優れた性能を示している。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
  事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。 従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。 対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
  論文  参考訳（メタデータ） (2024-03-28T19:31:32Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Multimodal LLMs for health grounded in individual-specific data [1.8473477867376036]
  基礎となる大規模言語モデル(LLM)は、健康を含む幅広い分野のタスクを解く素晴らしい能力を示している。 我々は、個人固有のデータに基づいて、健康のためのマルチモーダルLSMを作成するための一歩を踏み出した。 我々は,HLMが高次元時系列データに加えて,人口統計学的,臨床的特徴を効果的に利用し,疾患リスクを推定できることを示した。
  論文  参考訳（メタデータ） (2023-07-18T07:12:46Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。