論文の概要: Sequence-level Large Language Model Training with Contrastive Preference Optimization

• arxiv url: http://arxiv.org/abs/2502.16433v1
• Date: Sun, 23 Feb 2025 04:13:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:16.894889
• Title: Sequence-level Large Language Model Training with Contrastive Preference Optimization
• Title（参考訳）: コントラスト優先最適化を用いた系列レベル大規模言語モデルの訓練
• Authors: Zhili Feng, Dhananjay Ram, Cole Hawkins, Aditya Rawal, Jinman Zhao, Sheng Zha,
• Abstract要約: 次のトークン予測損失は,大規模言語モデルにおける自己教師型トレーニングの主目的である。 本稿では,言語モデルにシーケンスレベルの情報を注入可能なコントラスト優先最適化(CPO)手法を提案する。 実験の結果,提案手法は命令追従タスクとテキスト生成タスクの勝利率の観点から,次のトークン予測を超越していることがわかった。
• 参考スコア（独自算出の注目度）: 11.098564726949972
• License:
• Abstract: The next token prediction loss is the dominant self-supervised training objective for large language models and has achieved promising results in a variety of downstream tasks. However, upon closer investigation of this objective, we find that it lacks an understanding of sequence-level signals, leading to a mismatch between training and inference processes. To bridge this gap, we introduce a contrastive preference optimization (CPO) procedure that can inject sequence-level information into the language model at any training stage without expensive human labeled data. Our experiments show that the proposed objective surpasses the next token prediction in terms of win rate in the instruction-following and text generation tasks.
• Abstract（参考訳）: 次のトークン予測損失は,大規模言語モデルにおける自己教師型トレーニングの主目的であり,様々なダウンストリームタスクにおいて有望な結果を得た。 しかし, この目的についてより深く検討した結果, シーケンスレベルの信号の理解が欠如しており, 学習過程と推論過程のミスマッチが生じることがわかった。 このギャップを埋めるために、高価なラベル付きデータなしで言語モデルにシーケンスレベルの情報を注入できるコントラスト優先最適化(CPO)手法を導入する。 実験の結果,提案手法は命令追従タスクとテキスト生成タスクの勝利率の観点から,次のトークン予測を超越していることがわかった。

関連論文リスト

• A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series [15.218841180577135]
  本稿では,教師付きコントラスト学習を利用して,事前学習データセット内の特徴を識別する新しい事前学習手法を提案する。 次に、事前学習データセットの学習力学とより密に連携することで、目標データの正確な予測を強化するための微調整手順を提案する。
  論文  参考訳（メタデータ） (2023-11-21T02:06:52Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Curricular Transfer Learning for Sentence Encoded Tasks [0.0]
  本稿では「データハッキング」と文法解析によって導かれる事前学習の手順を提案する。 実験では,MultiWoZタスクの事前学習手法と比較して,提案手法からかなりの改善が得られた。
  論文  参考訳（メタデータ） (2023-08-03T16:18:19Z)
• Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference [0.38233569758620045]
  本稿では,トランスのための事前学習手法を言語的に強化した組み合わせを提案する。 事前トレーニング対象にはPOSタグ付け、セマンティック知識グラフに基づく構文予測、依存性解析木に基づく親予測が含まれる。 提案手法は, 自然言語推論タスクにおいて, 技術状況と比較して, 競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-12-14T10:50:13Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。