論文の概要: LLM-ML Teaming: Integrated Symbolic Decoding and Gradient Search for Valid and Stable Generative Feature Transformation

• arxiv url: http://arxiv.org/abs/2506.09085v1
• Date: Tue, 10 Jun 2025 08:10:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.669598
• Title: LLM-ML Teaming: Integrated Symbolic Decoding and Gradient Search for Valid and Stable Generative Feature Transformation
• Title（参考訳）: LLM-ML チーム: 有効かつ安定な生成特徴変換のためのシンボリックデコーディングとグラディエント検索
• Authors: Xinyuan Wang, Haoyue Bai, Nanxu Gong, Wangyang Ying, Sixun Dong, Xiquan Cui, Yanjie Fu,
• Abstract要約: 本稿では,LLMのシンボル生成とMLの勾配ステアリング検索を組み合わせたチーム編成フレームワークを提案する。 実験の結果、チーム分けポリシは、ダウンストリームのパフォーマンスを5%改善し、エラーケースのほぼ半分を削減できることがわかった。
• 参考スコア（独自算出の注目度）: 20.899800063233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature transformation enhances data representation by deriving new features from the original data. Generative AI offers potential for this task, but faces challenges in stable generation (consistent outputs) and valid generation (error-free sequences). Existing methods--traditional MLs' low validity and LLMs' instability--fail to resolve both. We find that LLMs ensure valid syntax, while ML's gradient-steered search stabilizes performance. To bridge this gap, we propose a teaming framework combining LLMs' symbolic generation with ML's gradient optimization. This framework includes four steps: (1) golden examples generation, aiming to prepare high-quality samples with the ground knowledge of the teacher LLM; (2) feature transformation sequence embedding and search, intending to uncover potentially superior embeddings within the latent space; (3) student LLM feature transformation, aiming to distill knowledge from the teacher LLM; (4) LLM-ML decoder teaming, dedicating to combine ML and the student LLM probabilities for valid and stable generation. The experiments on various datasets show that the teaming policy can achieve 5\% improvement in downstream performance while reducing nearly half of the error cases. The results also demonstrate the efficiency and robustness of the teaming policy. Additionally, we also have exciting findings on LLMs' capacity to understand the original data.
• Abstract（参考訳）: 特徴変換は、元のデータから新しい特徴を引き出すことにより、データ表現を強化する。 生成AIは、このタスクのポテンシャルを提供するが、安定した生成(一貫性のある出力)と有効な生成(エラーのないシーケンス)の課題に直面している。 既存の手法-従来のMLの低い妥当性とLCMの不安定性--両方を解決できない。 LLMが有効な構文を保証するのに対して、MLの勾配ステアリング検索は性能を安定させる。 このギャップを埋めるために,LLMのシンボル生成とMLの勾配最適化を組み合わせた協調フレームワークを提案する。 本フレームワークは,(1)教師LLMの知識を活かした高品質なサンプルの作成を目的とした黄金の例生成,(2)潜伏空間における潜在的に優れた埋め込みを明らかにすることを目的とした特徴変換シーケンスの埋め込みと探索,(3)教師LLMの知識を習得することを目的とした学生LLM特徴変換,(4)MLと学生LLMの確率を有効かつ安定に組み合わせたLLM-MLデコーダのチーム化,の4段階を含む。 さまざまなデータセットで実験した結果, ダウンストリーム性能は5倍改善され, エラーケースのほぼ半分が削減された。 結果は、チーム化政策の効率性と堅牢性も示している。 さらに、LLMの本来のデータを理解する能力についても、エキサイティングな結果が得られました。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Rethinking VLMs and LLMs for Image Classification [6.550471260627169]
  大きな言語モデル(LLM)は、新しい機能を実現するために、Visual Language Models(VLM)と統合されつつある。 オブジェクト認識やシーン認識では,LLMを使わないVLMの方が,VLMよりも優れた性能が得られることを示す。 本稿では,視覚的タスクをタスクに適したモデルに効率的にルーティングする,比較的小さなLCMを含む軽量な修正法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T23:40:21Z)
• Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience [4.814313782484443]
  大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。 我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T06:37:59Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.418844515095035]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 不正確なトークン化は、LLMが入力を正確に理解するのを妨げている臨界点である。 我々は, LLMのトークン化に挑戦するために, 様々なオープンソースLLMの語彙をベースとして, $textbfADT (Adrial dataset for Tokenizer)$という逆データセットを構築した。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data [1.3981625092173873]
  本稿では,LLMの幻覚検出システムについて述べる。 SemEval-2024 Task 6のモデル非依存トラックで2位を獲得した。
  論文  参考訳（メタデータ） (2024-02-20T11:01:39Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。