論文の概要: Joint Optimization of Tokenization and Downstream Model

• arxiv url: http://arxiv.org/abs/2105.12410v1
• Date: Wed, 26 May 2021 09:05:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 13:32:37.365569
• Title: Joint Optimization of Tokenization and Downstream Model
• Title（参考訳）: トークン化と下流モデルの統合最適化
• Authors: Tatsuya Hiraoka, Sho Takase, Kei Uchiumi, Atsushi Keyaki and Naoaki Okazaki
• Abstract要約: 本稿では,トークン化器とモデルとの協調最適化により,与えられた下流モデルに適切なトークン化を求める手法を提案する。 提案手法は, 下流モデルで計算した損失値を用いてトークン化者を訓練する以外, 制限はない。 本手法が3言語におけるテキスト分類の性能向上に寄与するかどうかを8言語対の機械翻訳で評価する。
• 参考スコア（独自算出の注目度）: 22.336172850954938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since traditional tokenizers are isolated from a downstream task and model, they cannot output an appropriate tokenization depending on the task and model, although recent studies imply that the appropriate tokenization improves the performance. In this paper, we propose a novel method to find an appropriate tokenization to a given downstream model by jointly optimizing a tokenizer and the model. The proposed method has no restriction except for using loss values computed by the downstream model to train the tokenizer, and thus, we can apply the proposed method to any NLP task. Moreover, the proposed method can be used to explore the appropriate tokenization for an already trained model as post-processing. Therefore, the proposed method is applicable to various situations. We evaluated whether our method contributes to improving performance on text classification in three languages and machine translation in eight language pairs. Experimental results show that our proposed method improves the performance by determining appropriate tokenizations.
• Abstract（参考訳）: 従来のトークン化器は下流のタスクやモデルから分離されているため、タスクやモデルに応じて適切なトークン化を出力することはできない。 本稿では,トークン化器とモデルの共同最適化により,与えられた下流モデルに適切なトークン化を求める手法を提案する。 提案手法は, 下流モデルで計算した損失値を用いてトークン化者を訓練する以外に制限がなく, 提案手法を任意のNLPタスクに適用することができる。 さらに,提案手法を用いて,すでに訓練済みのモデルのトークン化を後処理として検討することができる。 したがって,提案手法は様々な状況に適用できる。 提案手法が3言語でテキスト分類の性能向上に寄与するか,8言語で機械翻訳を行った。 実験の結果,提案手法はトークン化の適否を判定することで性能を向上できることがわかった。

関連論文リスト

• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Tokenization with Factorized Subword Encoding [2.538209532048867]
  本稿では,VQ-VAEモデルを用いて,サブワードを離散三重項に分解する新しいトークン化手法を提案する。 その結果, この手法は, 一般的に使用されるバイトペア符号化(BPE)トークン化アルゴリズムよりも, 形態的タスクに適しており, 頑健であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-13T13:27:34Z)
• Downstream Task-Oriented Neural Tokenizer Optimization with Vocabulary Restriction as Post Processing [4.781986758380065]
  本稿では,すでに訓練済みの下流モデルの性能向上のために,トークン化を最適化する手法を提案する。 本手法は,語彙制限のためのトレーニングデータに基づいて,与えられた下流モデルの損失値の低いトークン化結果を生成し,トークン化結果を再現するトークン化者を訓練する。
  論文  参考訳（メタデータ） (2023-04-21T08:29:14Z)
• A Template-based Method for Constrained Neural Machine Translation [100.02590022551718]
  本稿では,デコード速度を維持しつつ,高い翻訳品質と精度で結果が得られるテンプレートベースの手法を提案する。 テンプレートの生成と導出は、1つのシーケンスからシーケンスまでのトレーニングフレームワークを通じて学習することができる。 実験結果から,提案手法は語彙的,構造的に制約された翻訳タスクにおいて,いくつかの代表的ベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2022-05-23T12:24:34Z)
• Efficiently Disentangle Causal Representations [37.1087310583588]
  モデルの一般化能力との違いを近似して、標準的な機械学習フレームワークに適合するようにします。 学習者の新しい分布への適応速度に依存する最先端のアプローチとは対照的に,提案手法ではモデルの一般化能力を評価する必要がある。
  論文  参考訳（メタデータ） (2022-01-06T07:12:36Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Model-Agnostic Explanations using Minimal Forcing Subsets [11.420687735660097]
  そこで本研究では,モデル決定に欠かせない最小限のトレーニングサンプルを同定する,モデルに依存しない新しいアルゴリズムを提案する。 本アルゴリズムは,制約付き最適化問題を解くことにより,このような「欠かせない」サンプルの集合を反復的に同定する。 結果から,本アルゴリズムは局所モデルの振る舞いをよりよく理解する上で,効率的かつ容易に記述できるツールであることがわかった。
  論文  参考訳（メタデータ） (2020-11-01T22:45:16Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。