論文の概要: Should you marginalize over possible tokenizations?

• arxiv url: http://arxiv.org/abs/2306.17757v1
• Date: Fri, 30 Jun 2023 16:09:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 11:57:20.049070
• Title: Should you marginalize over possible tokenizations?
• Title（参考訳）: トークン化の可能性に限界を設けるべきか?
• Authors: Nadezhda Chirkova, Germ\'an Kruszewski, Jos Rozen, Marc Dymetman
• Abstract要約: ログライクリフのギャップは,ほとんどの場合0.5%以下であることを示す。 その結果,ほとんどの場合,ログライクリフのギャップは0.5%以下であることがわかった。
• 参考スコア（独自算出の注目度）: 13.07994518230055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive language models (LMs) map token sequences to probabilities. The usual practice for computing the probability of any character string (e.g. English sentences) is to first transform it into a sequence of tokens that is scored by the model. However, there are exponentially many token sequences that represent any given string. To truly compute the probability of a string one should marginalize over all tokenizations, which is typically intractable. Here, we analyze whether the practice of ignoring the marginalization is justified. To this end, we devise an importance-sampling-based algorithm that allows us to compute estimates of the marginal probabilities and compare them to the default procedure in a range of state-of-the-art models and datasets. Our results show that the gap in log-likelihood is no larger than 0.5% in most cases, but that it becomes more pronounced for data with long complex words.
• Abstract（参考訳）: 自己回帰言語モデル(LM)はトークンシーケンスを確率にマッピングする。 任意の文字列(例えば英語の文)の確率を計算する通常の方法は、まずそれをモデルによって得点されるトークン列に変換することである。 しかし、任意の文字列を表すトークン列は指数関数的に多数存在する。 弦の確率を真に計算するためには、典型的には難解な全てのトークン化を極小化すべきである。 ここでは,限界化を無視する慣行が正当化されるか否かを分析する。 この目的のために、我々は限界確率の推定値を計算し、最先端のモデルとデータセットの範囲でデフォルトの手順と比較できる重要サンプリングベースのアルゴリズムを考案した。 以上の結果から,ログ類似度が0.5%以下である場合が多いが,長い複雑な単語を持つデータではより顕著になる。

関連論文リスト

• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• How to Compute the Probability of a Word [45.23856093235994]
  本稿では,単語確率の正しい計算法を導出する。 確率計算における広範囲なバグの修正は,文理解および語彙最適化分析における測定結果に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-06-20T17:59:42Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Toward a Theory of Tokenization in LLMs [26.516041872337887]
  本稿では, 簡単なデータ生成プロセスにおいて, 変圧器の挙動を研究することによって, 理論的観点からトークン化について検討する。 変換器によって学習された最も単純なユニグラムモデルでさえ、$ktextth$-order Markovソースから引き出されたシーケンスの確率を最適にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-04-12T09:01:14Z)
• Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
  トラニケートサンプリングの有効性を理論的に説明する。 モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。 提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:16:25Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Truncation Sampling as Language Model Desmoothing [115.28983143361681]
  ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。 トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。 本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
  論文  参考訳（メタデータ） (2022-10-27T05:52:35Z)
• Robust Multi-Object Tracking by Marginal Inference [92.48078680697311]
  ビデオにおける多目的追跡は、隣接するフレーム内のオブジェクト間の1対1の割り当てに関する根本的な問題を解決する必要がある。 本稿では,各オブジェクトの限界確率をリアルタイムに計算する効率的な手法を提案する。 MOT17とMOT20ベンチマークで競合する結果を得る。
  論文  参考訳（メタデータ） (2022-08-07T14:04:45Z)
• You should evaluate your language model on marginal likelihood overtokenisations [5.824498637088864]
  言語モデルはトークン化よりも限界的な可能性に基づいて評価されるべきである、と我々は主張する。 我々は,英語とドイツ語の事前学習モデルについて,最良語化と限界語化の両面で評価した。
  論文  参考訳（メタデータ） (2021-09-06T15:37:02Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。