論文の概要: Learning to Rewrite Prompts for Bootstrapping LLMs on Downstream Tasks
- arxiv url: http://arxiv.org/abs/2510.06695v1
- Date: Wed, 08 Oct 2025 06:40:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.336205
- Title: Learning to Rewrite Prompts for Bootstrapping LLMs on Downstream Tasks
- Title（参考訳）: 下流タスクにおけるLLMのブートストラップ用プロンプトの書き直し学習
- Authors: Qinhao Zhou, Xiang Xiang, Kun He, John E. Hopcroft,
- Abstract要約: 機械翻訳などの自然言語生成(NLG)タスクでは、テキスト入力コンポーネントが重要となる。
既存のプロンプトエンジニアリング手法は主に、一般的なタスクのテキストインストラクションコンポーネントの最適化に重点を置いている。
本稿では,機械翻訳タスクに特化して設計された新しいプロンプト最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 16.77472526610553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the growing interest in Large Language Models (LLMs) has significantly advanced prompt engineering, transitioning from manual design to model-based optimization. Prompts for LLMs generally comprise two components: the \textit{instruction}, which defines the task or objective, and the \textit{input}, which is tailored to the instruction type. In natural language generation (NLG) tasks such as machine translation, the \textit{input} component is particularly critical, while the \textit{instruction} component tends to be concise. Existing prompt engineering methods primarily focus on optimizing the \textit{instruction} component for general tasks, often requiring large-parameter LLMs as auxiliary tools. However, these approaches exhibit limited applicability for tasks like machine translation, where the \textit{input} component plays a more pivotal role. To address this limitation, this paper introduces a novel prompt optimization method specifically designed for machine translation tasks. The proposed approach employs a small-parameter model trained using a back-translation-based strategy, significantly reducing training overhead for single-task optimization while delivering highly effective performance. With certain adaptations, this method can also be extended to other downstream tasks.
- Abstract（参考訳）: 近年、LLM(Large Language Models)への関心が高まり、手動設計からモデルベース最適化へ移行した。
LLMのプロンプトは一般に、タスクまたは目的を定義する \textit{instruction} と、命令タイプに合わせて調整された \textit{input} の2つのコンポーネントから構成される。
機械翻訳のような自然言語生成(NLG)タスクでは、 \textit{input} コンポーネントは特に重要であり、 \textit{instruction} コンポーネントは簡潔である傾向にある。
既存のプロンプトエンジニアリング手法は主に、一般的なタスクのために \textit{instruction} コンポーネントを最適化することに焦点を当てており、しばしば補助ツールとして大きなパラメータ LLM を必要とする。
しかし、これらのアプローチは機械翻訳のようなタスクに対して限定的な適用性を示しており、そこでは \textit{input} コンポーネントがより重要な役割を果たす。
本稿では,機械翻訳タスクに特化して設計された新しいプロンプト最適化手法を提案する。
提案手法では、バックトランスレーションベースの戦略を用いて訓練された小パラメータモデルを用いて、シングルタスク最適化のトレーニングオーバーヘッドを著しく低減し、高い効率性を実現する。
特定の適応で、この方法は他の下流タスクにも拡張できる。
関連論文リスト
- APIO: Automatic Prompt Induction and Optimization for Grammatical Error Correction and Text Simplification [5.756837532779593]
APIOは、文法的誤り訂正(GEC)とテキスト単純化(Text Simplification)のタスクに対して、シンプルだが効果的な誘導と最適化のアプローチである。
データ、コード、プロンプト、アウトプットを公開しています。
論文 参考訳（メタデータ） (2025-08-12T22:26:32Z) - Guided Tensor Lifting [54.10411390218929]
機械学習のためのドメイン固有言語(s)は、機械学習ワークロードのスピードと効率に革命をもたらしている。
これらの機能を利用するには、ユーザはまず、現在記述されている言語からレガシーコードを新しいDSLに変換する必要があります。
これらのDSLにコードを自動的に持ち込むプロセスは、プログラム合成を解決策として提案する最近のいくつかの研究によって特定されている。
論文 参考訳（メタデータ） (2025-04-28T12:00:10Z) - GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。
GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。
GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
論文 参考訳（メタデータ） (2024-12-12T20:59:43Z) - Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning [0.08795040582681389]
大規模言語モデル (LLMs) は近年,プロンプトを用いた特殊タスクにおいて大きな人気を集めている。
本稿では,ランダムトークンの代わりに有意な単語を用いたプロンプトおよびプレフィックスチューニングのためのセマンティック知識チューニング(SK-Tuning)を提案する。
実験結果から,SK-Tuningは,テキスト分類や理解などのタスクにおいて,より高速なトレーニング時間,少ないパラメータ,優れたパフォーマンスを示すことがわかった。
論文 参考訳（メタデータ） (2024-10-11T07:55:09Z) - Optimizing Token Usage on Large Language Model Conversations Using the Design Structure Matrix [49.1574468325115]
大規模言語モデルは、多くの分野やタスクにおいてユビキタスになる。
トークンの使用を減らすこと、短いコンテキストウィンドウ、限られた出力サイズ、トークンの取り込みと生成に関連するコストといった課題を克服する必要がある。
この作業は、エンジニアリング設計の分野からLLM会話最適化にデザイン構造マトリックスをもたらす。
論文 参考訳（メタデータ） (2024-10-01T14:38:36Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
効率的なプロンプティング手法は幅広い注目を集めている。
本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - A Prompt Learning Framework for Source Code Summarization [19.24919436211323]
本稿では,PromptCSと呼ばれるコード要約のための効果的なプロンプト学習フレームワークを提案する。
PromptCSはプロンプトエージェントを訓練し、コード要約において大きな言語モデルの可能性を解き放つために連続的なプロンプトを生成する。
論文 参考訳（メタデータ） (2023-12-26T14:37:55Z) - CRAFT: Customizing LLMs by Creating and Retrieving from Specialized
Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。
タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。
本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文 参考訳（メタデータ） (2023-09-29T17:40:26Z) - ART: Automatic multi-step reasoning and tool-use for large language
models [105.57550426609396]
大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。
各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。
プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
論文 参考訳（メタデータ） (2023-03-16T01:04:45Z) - HyperPELT: Unified Parameter-Efficient Language Model Tuning for Both
Language and Vision-and-Language Tasks [38.43269863509866]
パラメータ効率のよい微調整をいかに行うかは、素早い移動学習と展開においてかなり重要になっている。
我々は、純粋言語とV&Lタスクの両方で効果的に機能する新しいパラメータ効率変換学習フレームワークを設計する。
提案フレームワークは,マルチタスク学習におけるトレーニング可能なパラメータを少なくし,最先端の手法に比べて優れた性能と伝達能力を実現している。
論文 参考訳（メタデータ） (2022-03-08T06:51:33Z) - Zero-shot Learning by Generating Task-specific Adapters [38.452434222367515]
タスク記述からタスク固有のアダプタを生成するためのハイパーネットワークをトレーニングすることで、ゼロショット転送性を改善するフレームワークであるHypterを紹介する。
この定式化はタスクレベルでの学習を可能にし、軽量アダプタを使用することでパラメータの数を大幅に削減する。
論文 参考訳（メタデータ） (2021-01-02T10:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。