論文の概要: Token-level Ensembling of Models with Different Vocabularies

• arxiv url: http://arxiv.org/abs/2502.21265v1
• Date: Fri, 28 Feb 2025 17:41:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:24.546803
• Title: Token-level Ensembling of Models with Different Vocabularies
• Title（参考訳）: 異なる語彙を持つモデルのトークンレベル構成
• Authors: Rachel Wicks, Kartik Ravisankar, Xinchen Yang, Philipp Koehn, Matt Post,
• Abstract要約: モデルアンサンブル(英: Model ensembling)は、2つ以上のモデルの予測分布を組み合わせる手法である。 本稿では,異なる語彙でモデルを組み立てる推論時間のみのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 16.094010998574753
• License:
• Abstract: Model ensembling is a technique to combine the predicted distributions of two or more models, often leading to improved robustness and performance. For ensembling in text generation, the next token's probability distribution is derived from a weighted sum of the distributions of each individual model. This requires the underlying models to share the same subword vocabulary, limiting the applicability of ensembling, since many open-sourced models have distinct vocabularies. In research settings, experimentation or upgrades to vocabularies may introduce multiple vocabulary sizes. This paper proposes an inference-time only algorithm that allows for ensembling models with different vocabularies, without the need to learn additional parameters or alter the underlying models. Instead, the algorithm ensures that tokens generated by the ensembled models \textit{agree} in their surface form. We apply this technique to combinations of traditional encoder-decoder models and decoder-only LLMs and evaluate on machine translation. In addition to expanding to model pairs that were previously incapable of token-level ensembling, our algorithm frequently improves translation performance over either model individually.
• Abstract（参考訳）: モデルアンサンブル(英: Model ensembling)は、2つ以上のモデルの予測分布を組み合わせる手法であり、しばしば堅牢性と性能の向上につながる。 テキスト生成において、次のトークンの確率分布は個々のモデルの分布の重み付け和から導かれる。 これは、多くのオープンソースモデルは異なる語彙を持っているため、同じサブワード語彙を共有する必要があるため、アンサンブルの適用性が制限される。 研究環境では、実験または語彙へのアップグレードは、複数の語彙サイズを導入する可能性がある。 本稿では,新たなパラメータを学習したり,基礎となるモデルを変更することなく,異なる語彙でモデルを組み立てることができる推論時のみのアルゴリズムを提案する。 その代わりに、アルゴリズムは、アンサンブルされたモデル \textit{agree} が生成したトークンをその表面形状で保証する。 本手法は,従来のエンコーダ-デコーダモデルとデコーダのみのLLMの組み合わせに適用し,機械翻訳の評価を行う。 従来トークンレベルのアンサンブルが不可能であったモデルペアへの拡張に加えて,本アルゴリズムは,各モデルの翻訳性能を個別に向上する。

関連論文リスト

• Can bidirectional encoder become the ultimate winner for downstream applications of foundation models? [1.8120356834558644]
  基礎モデルには、事前学習、移動学習、自己指導学習の特徴がある。 BERTは、マスク付き言語モデルを用いて事前学習において、一方通行の言語モデリングのみを使用するという制限を突破した。 本稿では,GPT と BERT に基づく一方向モデルと双方向モデルを分析し,その目的に基づいて差分を比較する。
  論文  参考訳（メタデータ） (2024-11-27T03:31:14Z)
• FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
  FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。 画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-09T02:16:37Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• CharED: Character-wise Ensemble Decoding for Large Language Models [24.993790740335243]
  本稿では,複数の大規模言語モデルから出力を"出力する"ことを目的とした推論時アンサンブルアルゴリズムを提案する。 提案モデルでは,語彙,トークン化,モデルサイズに関わらず,複数のLLMの補完的強度を組み合わせることができる。
  論文  参考訳（メタデータ） (2024-06-25T22:35:07Z)
• Artificial Interrogation for Attributing Language Models [0.0]
  この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。 コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。 両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
  論文  参考訳（メタデータ） (2022-11-20T05:46:29Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Introducing various Semantic Models for Amharic: Experimentation and Evaluation with multiple Tasks and Datasets [19.855120632909124]
  我々はAmharicの異なるセマンティックモデルを導入する。 モデルは word2Vec 埋め込み、分散シソーラス (DT)、コンテキスト埋め込み、DT 埋め込みを使って構築される。 新たに訓練されたモデルは、事前訓練された多言語モデルよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-02T17:48:25Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。