論文の概要: DeMPT: Decoding-enhanced Multi-phase Prompt Tuning for Making LLMs Be Better Context-aware Translators

• arxiv url: http://arxiv.org/abs/2402.15200v2
• Date: Mon, 23 Sep 2024 10:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 04:32:42.307679
• Title: DeMPT: Decoding-enhanced Multi-phase Prompt Tuning for Making LLMs Be Better Context-aware Translators
• Title（参考訳）: DeMPT:LLMをコンテクスト対応トランスレータにするための復号化マルチフェーズプロンプトチューニング
• Authors: Xinglin Lyu, Junhui Li, Yanqing Zhao, Min Zhang, Daimeng Wei, Shimin Tao, Hao Yang, Min Zhang,
• Abstract要約: DeMPT(Decoding-enhanced Multi-phase Prompt Tuning)という適応手法を提案する。 各フェーズで異なる連続プロンプトを導入し、LLMを様々な情報を識別的にモデル化する。 実験の結果,本手法は結合法よりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 26.665489056201725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generally, the decoder-only large language models (LLMs) are adapted to context-aware neural machine translation (NMT) in a concatenating way, where LLMs take the concatenation of the source sentence (i.e., intra-sentence context) and the inter-sentence context as the input, and then to generate the target tokens sequentially. This adaptation strategy, i.e., concatenation mode, considers intra-sentence and inter-sentence contexts with the same priority, despite an apparent difference between the two kinds of contexts. In this paper, we propose an alternative adaptation approach, named Decoding-enhanced Multi-phase Prompt Tuning (DeMPT), to make LLMs discriminately model and utilize the inter- and intra-sentence context and more effectively adapt LLMs to context-aware NMT. First, DeMPT divides the context-aware NMT process into three separate phases. During each phase, different continuous prompts are introduced to make LLMs discriminately model various information. Second, DeMPT employs a heuristic way to further discriminately enhance the utilization of the source-side inter- and intra-sentence information at the final decoding phase. Experiments show that our approach significantly outperforms the concatenation method, and further improves the performance of LLMs in discourse modeling.
• Abstract（参考訳）: 一般に、デコーダのみの大規模言語モデル(LLM)は、コンカレント対応のニューラルネットワーク翻訳(NMT)に適応し、LLMはソース文(例えば、文内コンテキスト)と文間コンテキストの結合を入力として取り、次にターゲットトークンを逐次生成する。 この適応戦略、すなわち連結モードは、2種類の文脈の間に明らかな違いがあるにもかかわらず、文内コンテキストと文間コンテキストを同じ優先順位で考える。 本稿では,復号化マルチフェーズ・プロンプト・チューニング (DeMPT) という代替手法を提案し,LLMを識別モデルにし,文間・文間コンテキストを有効利用し,文脈認識型NMTにLLMをより効果的に適用する。 まず、DeMPTはコンテキスト対応のNMTプロセスを3つのフェーズに分割する。 各フェーズで異なる連続プロンプトを導入し、LLMを様々な情報を識別的にモデル化する。 第二に、DeMPTは最終復号フェーズにおけるソース側間および文内情報のさらなる利用を識別するために、ヒューリスティックな方法を採用している。 実験により,本手法は結合法を著しく上回り,言論モデリングにおけるLLMの性能をさらに向上させることが示された。

関連論文リスト

• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• A Practice-Friendly LLM-Enhanced Paradigm with Preference Parsing for Sequential Recommendation [15.153844486572932]
  本稿では、シーケンシャルレコメンデータシステム(SRS)のための優先構文解析(P2Rec)を用いた実践的LLM拡張パラダイムを提案する。 具体的には、情報再構成段階において、事前学習したSRSモデルの助けを借りて、協調的な情報注入のための新しいユーザレベルSFTタスクを設計する。 我々のゴールは、LLMが各ユーザのインタラクションシーケンスから対応する優先度分布を再構築することを学ばせることである。
  論文  参考訳（メタデータ） (2024-06-01T07:18:56Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• SiLLM: Large Language Models for Simultaneous Machine Translation [41.303764786790616]
  同時機械翻訳(SiMT)は、原文を読みながら翻訳を生成する。 既存のSiMT手法では、ポリシーを同時に決定し、翻訳を生成するために単一のモデルを採用している。 我々は2つのサブタスクを別々のエージェントに委譲するSiLLMを提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:23:34Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
  ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。 自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:28:54Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Masked and Permuted Implicit Context Learning for Scene Text Recognition [8.742571493814326]
  シーン認識(STR)は、テキストスタイル、形状、背景の変化のため困難である。 単一のデコーダ内において、STRのためのマスク付き暗黙的文脈学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:31:02Z)
• On Language Model Integration for RNN Transducer based Speech Recognition [49.84285563767935]
  共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。 ILM補正による性能改善の2つの主な理由を復号化解釈する。 また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。