論文の概要: Learning to Translate from Soft to Hard LLM Prompts

• arxiv url: http://arxiv.org/abs/2605.27642v1
• Date: Tue, 26 May 2026 20:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.49513
• Title: Learning to Translate from Soft to Hard LLM Prompts
• Title（参考訳）: ソフトからハードへの翻訳の学習
• Authors: Pitipat Kongsomjit, Suryansh Goyal, Jacob Whitehill,
• Abstract要約: 自然言語翻訳モデルに専用ソフトプロンプトを学習することで、より高い翻訳品質が得られるかを検討する。 小型でオープンソースのモデルに最適化されたソフトプロンプトは、ポータブルなテキストプロンプトに変換できる。
• 参考スコア（独自算出の注目度）: 2.4044667203754386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft prompt tuning is a parameter-efficient method for adapting LLMs to specific tasks, but suffers from a lack of interpretability. Building on recent work on interpreting soft prompts (Ramati et al., 2024), we explore how training a dedicated soft prompt to natural language translation model can yield higher translation quality. In particular, in both quantitative and qualitative comparisons on multiple Datasets of Datasets (DoDs), we demonstrate that our translator produces fluent, accurate verbalizations that outperforms existing training-free methods like InSPEcT. In addition to advancing interpretability, our work suggests a promising downstream application: soft prompts optimized on small, open-source models can be translated into portable text prompts that, when deployed on larger closed-API models, exceed the performance of the original soft prompt and, in some cases, even few-shot learning.
• Abstract（参考訳）: ソフトプロンプトチューニングは、特定のタスクにLLMを適用するためのパラメータ効率のよい手法であるが、解釈可能性の欠如に悩まされている。 ソフトプロンプトの解釈に関する最近の研究 (Ramati et al , 2024) に基づいて, 自然言語翻訳モデルへの専用ソフトプロンプトの学習により, より高い翻訳品質が得られるかを検討する。 特に、複数のデータセット(DoD)の定量的および定性的な比較において、我々のトランスレータは、InSPEcTのような既存のトレーニング不要な手法よりも優れた、流動的で正確な言語化を生成することを実証する。 小型でオープンソースのモデルに最適化されたソフトプロンプトをポータブルなテキストプロンプトに変換することで、大規模なクローズドAPIモデルにデプロイすると、元のソフトプロンプトのパフォーマンスを上回り、場合によっては数ショットの学習さえできるのです。

関連論文リスト

• Weighted Multi-Prompt Learning with Description-free Large Language Model Distillation [1.3381749415517021]
  大規模言語モデル(LLM)をプロンプトに活用する新たなアプローチが提案されている。 既存の方法は典型的には LLM からテキストベースの応答(つまり記述)を抽出し、プロンプトに組み込む。 記述を抽出し, LLM から直接知識を抽出する新たな手法として, 記述不要なマルチプロンプト学習(DeMul)を提案する。
  論文  参考訳（メタデータ） (2025-07-09T07:55:25Z)
• Soft Prompting for Unlearning in Large Language Models [11.504012974208466]
  この研究は、データ保護規制を動機とした大規模言語モデルのための機械学習の研究に焦点をあてる。 我々はtextbfUntextbflearning (SPUL) のための textbfSoft textbfPrompting フレームワークを提案する。 本研究では,提案手法の厳密な評価を行い,SPULが実用性と忘れとのトレードオフを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-17T19:11:40Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。