論文の概要: Two Counterexamples to \textit{Tokenization and the Noiseless Channel}

• arxiv url: http://arxiv.org/abs/2402.14614v1
• Date: Thu, 22 Feb 2024 15:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 14:56:14.178834
• Title: Two Counterexamples to \textit{Tokenization and the Noiseless Channel}
• Title（参考訳）: textit{tokenization and the noiseless channel}に対する2つの反例
• Authors: Marco Cognetta and Vil\'em Zouhar and Sangwhan Moon and Naoaki Okazaki
• Abstract要約: R'enyi効率は、トークン化剤を評価するための本質的なメカニズムとして提案されている。 NLPタスクでは、ユニグラム分布の最も高いR'enyi効率につながるトークン化器を選択する必要がある。 下流モデルの性能を低下させながらR'enyi効率を任意に向上させるBPEトークン化の2つの変種について述べる。
• 参考スコア（独自算出の注目度）: 24.127593302335164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In \textit{Tokenization and the Noiseless Channel} \cite{zouhar-etal-2023-tokenization}, R\'enyi efficiency is suggested as an intrinsic mechanism for evaluating a tokenizer: for NLP tasks, the tokenizer which leads to the highest R\'enyi efficiency of the unigram distribution should be chosen. The R\'enyi efficiency is thus treated as a predictor of downstream performance (e.g., predicting BLEU for a machine translation task), without the expensive step of training multiple models with different tokenizers. Although useful, the predictive power of this metric is not perfect, and the authors note there are additional qualities of a good tokenization scheme that R\'enyi efficiency alone cannot capture. We describe two variants of BPE tokenization which can arbitrarily increase R\'enyi efficiency while decreasing the downstream model performance. These counterexamples expose cases where R\'enyi efficiency fails as an intrinsic tokenization metric and thus give insight for building more accurate predictors.
• Abstract（参考訳）: textit{tokenization and the noiseless channel} \cite{zouhar-etal-2023-tokenization} では、r\'enyi 効率はトークン化子を評価するための本質的なメカニズムとして提案されている。 したがって、R'enyi効率は、異なるトークン化器で複数のモデルをトレーニングするコストのかかるステップなしで、下流のパフォーマンスの予測(例えば、機械翻訳タスクのBLEUを予測する)として扱われる。 有用ではあるが、この計量の予測力は完全ではなく、著者らはR'enyi効率だけでは達成できない優れたトークン化スキームのさらなる性質があることを指摘している。 下流モデルの性能を低下させながらR'enyi効率を任意に向上させるBPEトークン化の2つのバリエーションについて述べる。 これらの反例は、R\'enyi効率が固有のトークン化計量として失敗するケースを明らかにし、より正確な予測器を構築するための洞察を与える。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Loop Neural Networks for Parameter Sharing [1.1049608786515839]
  本稿では,モデルサイズを増大させることなく,より長い計算時間を活用することにより,より優れた性能を実現するループニューラルネットワークを提案する。 提案手法では,残差接続を持つモデルのサブセットを反復的にループすることで,入力を複数回再検討する。 本手法の有効性を,GPT-2とループモデルの比較実験により実証し,類似したパラメータ数を維持しつつ,言語モデリングタスクの性能向上を示す。
  論文  参考訳（メタデータ） (2024-09-21T17:07:42Z)
• Focus on the Core: Efficient Attention via Pruned Token Compression for Document Classification [6.660834045805309]
  BERTのような事前訓練されたトランスフォーマーは計算コストのかかる自己保持機構に悩まされる。 トークンプルーニングとトークンの組み合わせという2つの戦略を統合することを提案する。 さまざまなデータセットによる実験は、ベースラインモデルよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-06-03T12:51:52Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。