論文の概要: ADO: Automatic Data Optimization for Inputs in LLM Prompts

• arxiv url: http://arxiv.org/abs/2502.11436v1
• Date: Mon, 17 Feb 2025 04:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:44.964546
• Title: ADO: Automatic Data Optimization for Inputs in LLM Prompts
• Title（参考訳）: ADO: LLM Promptにおける入力の自動データ最適化
• Authors: Sam Lin, Wenyue Hua, Lingyao Li, Zhenting Wang, Yongfeng Zhang,
• Abstract要約: 本研究では,プロンプト内の入力データの最適化を通じて,Large Language Models (LLM) の性能を向上させる新しい手法を提案する。 本稿では,コンテンツエンジニアリングと構造改革という,入力データ最適化のための2つの戦略を導入する。
• 参考スコア（独自算出の注目度）: 36.850626629231705
• License:
• Abstract: This study explores a novel approach to enhance the performance of Large Language Models (LLMs) through the optimization of input data within prompts. While previous research has primarily focused on refining instruction components and augmenting input data with in-context examples, our work investigates the potential benefits of optimizing the input data itself. We introduce a two-pronged strategy for input data optimization: content engineering and structural reformulation. Content engineering involves imputing missing values, removing irrelevant attributes, and enriching profiles by generating additional information inferred from existing attributes. Subsequent to content engineering, structural reformulation is applied to optimize the presentation of the modified content to LLMs, given their sensitivity to input format. Our findings suggest that these optimizations can significantly improve the performance of LLMs in various tasks, offering a promising avenue for future research in prompt engineering. The source code is available at https://anonymous.4open.science/r/ADO-6BC5/
• Abstract（参考訳）: 本研究では,プロンプト内の入力データの最適化を通じて,Large Language Models (LLM) の性能を向上させる新しい手法を提案する。 これまでの研究では、命令コンポーネントの精細化や、テキスト内例による入力データの強化に重点を置いてきたが、本研究は、入力データ自体を最適化する潜在的な利点について検討している。 本稿では,コンテンツエンジニアリングと構造改革という,入力データ最適化のための2つの戦略を導入する。 コンテンツエンジニアリングは、欠落した値を出力し、無関係な属性を削除し、既存の属性から推測される追加情報を生成してプロファイルを強化することを含む。 コンテンツエンジニアリングの次は, 入力形式に敏感なため, LLMへのコンテンツ表示を最適化するために, 構造的再構成を適用した。 これらの最適化により, 各種タスクにおけるLCMの性能が大幅に向上し, 今後の研究に期待できる道筋となることが示唆された。 ソースコードはhttps://anonymous.4open.science/r/ADO-6BC5/で入手できる。

関連論文リスト

• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking [39.649879274238856]
  APEERという新しい自動プロンプトエンジニアリングアルゴリズムを導入する。 APEERはフィードバックと好みの最適化を通じて改良されたプロンプトを反復的に生成する。 実験では、既存の最先端(SoTA)マニュアルプロンプトよりもAPEERの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-20T16:11:45Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• FIPO: Free-form Instruction-oriented Prompt Optimization with Preference Dataset and Modular Fine-tuning Schema [36.65009632307124]
  大規模言語モデル(LLM)のタスク性能向上のためのFIPO(Free-from Instruction-oriented Prompt Optimization)を提案する。 FIPOはモジュール型のAPOテンプレートを使用して、単純で最適化されたプロンプトを生成するために、ナイーブなタスク命令、オプションの命令応答、オプションの接地真理を動的に統合する。 5つの公開ベンチマークと6つのテストモデルでFIPOフレームワークを検証する。
  論文  参考訳（メタデータ） (2024-02-19T03:56:44Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。