論文の概要: Empowering Character-level Text Infilling by Eliminating Sub-Tokens

• arxiv url: http://arxiv.org/abs/2405.17103v2
• Date: Fri, 14 Jun 2024 09:26:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 18:23:16.563768
• Title: Empowering Character-level Text Infilling by Eliminating Sub-Tokens
• Title（参考訳）: サブトークンの除去による文字レベルの文字入力
• Authors: Houxing Ren, Mingjie Zhan, Zhongyuan Wu, Hongsheng Li,
• Abstract要約: FIM-SEは"Fill-In-the-Middle"の略で、開始文字と終了文字の制約がある。 本稿では,FIM-SEについて紹介する。
• 参考スコア（独自算出の注目度）: 34.37743927032878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In infilling tasks, sub-tokens, representing instances where a complete token is segmented into two parts, often emerge at the boundaries of prefixes, middles, and suffixes. Traditional methods focused on training models at the token level, leading to sub-optimal performance in character-level infilling tasks during the inference stage. Alternately, some approaches considered character-level infilling, but they relied on predicting sub-tokens in inference, yet this strategy diminished ability in character-level infilling tasks due to the large perplexity of the model on sub-tokens. In this paper, we introduce FIM-SE, which stands for Fill-In-the-Middle with both Starting and Ending character constraints. The proposed method addresses character-level infilling tasks by utilizing a line-level format to avoid predicting any sub-token in inference. In addition, we incorporate two special tokens to signify the rest of the incomplete lines, thereby enhancing generation guidance. Extensive experiments demonstrate that our proposed approach surpasses previous methods, offering a significant advantage. Code is available at https://github.com/SenseLLM/FIM-SE.
• Abstract（参考訳）: 入力タスクでは、完全なトークンが2つの部分に分割されたインスタンスを表すサブトークンが、プレフィックス、ミドル、接尾辞の境界に現れることが多い。 従来の方法ではトークンレベルでのトレーニングモデルに重点を置いていたため、推論段階での文字レベルのインフィルタスクでは、サブ最適化のパフォーマンスが向上した。 代替として、一部のアプローチでは文字レベルの補充を考慮したが、推論におけるサブトークンの予測に頼っていたが、この戦略はサブトークン上でのモデルの難易度が大きいため、文字レベルの補充タスクの能力を低下させた。 本稿では,FIM-SE(Fill-In-the-Middle)とEnding文字制約(Ending文字制約)を併用したFIM-SEを提案する。 提案手法は,任意のサブトークン推論の予測を避けるために,行レベルの形式を用いることで,文字レベルの入力タスクに対処する。 さらに、2つの特別なトークンを組み込んで、残りの不完全な行を表現し、生成指導を強化する。 大規模な実験により,提案手法が従来の手法を超えることが示され,大きな優位性が得られた。 コードはhttps://github.com/SenseLLM/FIM-SEで入手できる。

関連論文リスト

• STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
  本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。 我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。 これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference [30.722379261991563]
  LazyLLMは次のトークン予測に重要なトークンのKVを選択的に計算する手法である。 LLama 2 7Bモデルのプレフィルステージを2.34倍の精度で高速化する。
  論文  参考訳（メタデータ） (2024-07-19T06:34:45Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Token Alignment via Character Matching for Subword Completion [34.76794239097628]
  本稿では,生成モデルにおけるテキスト補完におけるトークン化アーティファクトの緩和手法について検討する。 この手法はトークンアライメントと呼ばれ、最後の完全なトークンをバックトラックし、モデルの生成がプロンプトと整合することを保証する。
  論文  参考訳（メタデータ） (2024-03-13T16:44:39Z)
• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)
• AWTE-BERT:Attending to Wordpiece Tokenization Explicitly on BERT for Joint Intent Classification and SlotFilling [5.684659127683238]
  BERT (Bidirectional Representations from Transformers) は2つのタスクを共同で最適化する。 本稿では,ワードピーストークン化後の複数のサブトークン特徴を明示的にモデル化したBERTに基づく新しいジョイントモデルを提案する。 実験により,本モデルが意図分類精度,スロットフィリングF1,文レベルの意味的フレーム精度を大幅に向上することを確認した。
  論文  参考訳（メタデータ） (2022-11-27T13:49:19Z)
• RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models [3.4523793651427113]
  本稿では,[] と通常のトークンの両方のコンテキスト化埋め込みにおける意味表現能力の向上を目標とする,二重マスク付き自動エンコーダ DupMAE を提案する。 DupMAEは単純だが経験的競争力があり、デコードコストが小さいため、モデルの表現能力と転送可能性に大きく貢献する。
  論文  参考訳（メタデータ） (2022-11-16T08:57:55Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。