論文の概要: Evolving Demonstration Optimization for Chain-of-Thought Feature Transformation

• arxiv url: http://arxiv.org/abs/2603.09987v1
• Date: Fri, 13 Feb 2026 01:12:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-15 16:38:22.529177
• Title: Evolving Demonstration Optimization for Chain-of-Thought Feature Transformation
• Title（参考訳）: チェーン・オブ・ソート特徴変換のための進化的デモストレーション最適化
• Authors: Xinyuan Wang, Kunpeng Liu, Arun Vignesh Malarkkan, Yanjie Fu,
• Abstract要約: フィーチャートランスフォーメーション(Feature Transformation)は、機能空間の品質を改善して予測パフォーマンスを向上する、データ中心のAIタスクである。 既存のソリューションは、個別の検索や潜伏生成に依存しているが、サンプルの非効率性、無効な候補、カバー範囲の制限のある冗長な世代によって、しばしば制限される。 閉ループにおける軌道レベルの経験を進化させることにより,LLM駆動型FTの文脈データを最適化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 25.08795071237411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature Transformation (FT) is a core data-centric AI task that improves feature space quality to advance downstream predictive performance. However, discovering effective transformations remains challenging due to the large space of feature-operator combinations. Existing solutions rely on discrete search or latent generation, but they are frequently limited by sample inefficiency, invalid candidates, and redundant generations with limited coverage. Large Language Models (LLMs) offer strong priors for producing valid transformations, but current LLM-based FT methods typically rely on static demonstrations, resulting in limited diversity, redundant outputs, and weak alignment with downstream objectives. We propose a framework that optimizes context data for LLM-driven FT by evolving trajectory-level experiences in a closed loop. Starting from high-performing feature transportation sequences explored by reinforcement learning, we construct and continuously update an experience library of downstream task-verified transformation trajectories, and use a diversity-aware selector to form contexts along with a chain-of-thought and guide transformed feature generation toward higher performance. Experiments on diverse tabular benchmarks show that our method outperforms classical and LLM-based baselines and is more stable than one-shot generation. The framework generalizes across API-based and open-source LLMs and remains robust across downstream evaluators.
• Abstract（参考訳）: フィーチャートランスフォーメーション(FT)は、データ中心のAIタスクであり、機能空間の品質を改善し、下流の予測性能を向上する。 しかし、機能-操作の組み合わせの広いスペースのため、効果的な変換を見つけることは依然として困難である。 既存のソリューションは、個別の検索や潜伏生成に依存しているが、サンプルの非効率性、無効な候補、カバー範囲の制限のある冗長な世代によって、しばしば制限される。 LLM(Large Language Models)は、有効な変換を生成するための強力な先行手段を提供するが、現在のLLMベースのFTメソッドは通常、静的なデモンストレーションに依存しており、結果として多様性が制限され、冗長な出力が得られ、下流の目的との整合性が弱い。 閉ループにおける軌道レベルの経験を進化させることにより,LLM駆動型FTの文脈データを最適化するフレームワークを提案する。 強化学習によって探索された高性能な特徴伝達シーケンスから始まり、下流のタスク検証された変換トラジェクトリのエクスペリエンスライブラリを構築し、継続的に更新し、多様性を意識したセレクタを使用して、チェーンオブ思考とガイド変換された特徴生成と共に、より高いパフォーマンスに向けてコンテキストを形成する。 多様な表型ベンチマーク実験により,本手法は古典的およびLLMベースのベースラインよりも優れ,単発生成よりも安定であることが示された。 このフレームワークはAPIベースのLLMとオープンソースのLLMをまたがって一般化されており、下流の評価者の間でも堅牢である。

関連論文リスト

• Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
  クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。 言語モデル微調整のための特徴マッチング手法を提案する。 この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
  論文  参考訳（メタデータ） (2026-03-12T17:57:50Z)
• AsynDBT: Asynchronous Distributed Bilevel Tuning for efficient In-Context Learning with Large Language Models [4.4866154758274375]
  In-context Learning (ICL) は、LLMが入力内で提供される例を使って新しいタスクに適応できる有望なパラダイムとして登場した。 ICLを組み込んだ以前のFLアプローチは、重度のストラグラー問題と、異種非同一データに関連する課題に悩まされてきた。 本稿では,LLMからのフィードバックに基づいて,文脈内学習サンプルの最適化とフラグメントのプロンプトを行う非同期分散バイレベルチューニング(AsynDBT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-06T13:07:49Z)
• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning [34.343514432589586]
  本稿では,ローランド適応(LoRA)と連続的な微調整戦略を統合する新しいフレームワークであるtextbfを提案する。 15の多様なデータセットの実験は、DEALがベースラインメソッドを一貫して上回っていることを示している。 これらの結果は,大規模言語モデルにおける継続的適応に向けた我々のアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2025-09-23T12:55:57Z)
• Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation [18.670626228472877]
  DIFFTは報酬誘導型生成タスクとしてフィーチャートランスフォーメーションを再定義する。 構造的かつ離散的な特徴を生成し、機能内依存関係を保持しながら、並列な機能間生成を可能にする。 予測精度とロバスト性において、最先端のベースラインを一貫して上回り、トレーニングや推論時間を大幅に低下させる。
  論文  参考訳（メタデータ） (2025-05-21T06:18:42Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
  機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。 LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。 実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-02-25T01:52:37Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。