論文の概要: Examination and Extension of Strategies for Improving Personalized
Language Modeling via Interpolation
- arxiv url: http://arxiv.org/abs/2006.05469v1
- Date: Tue, 9 Jun 2020 19:29:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 13:33:49.837431
- Title: Examination and Extension of Strategies for Improving Personalized
Language Modeling via Interpolation
- Title(参考訳): 補間によるパーソナライズド言語モデリングのための手法の検討と拡張
- Authors: Liqun Shao, Sahitya Mantravadi, Tom Manzini, Alejandro Buendia, Manon
Knoertzer, Soundar Srinivasan, and Chris Quirk
- Abstract要約: 我々は,グローバルLSTMベースのオーサリングモデルをユーザ個人化n-gramモデルで補間することにより,ユーザレベルでのオフラインメトリクスの改善を示す。
利用者の80%以上がパープレキシティのリフトを受けており、ユーザー当たり平均5.2%がパープレキシティのリフトを受け取っている。
- 参考スコア(独自算出の注目度): 59.35932511895986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we detail novel strategies for interpolating personalized
language models and methods to handle out-of-vocabulary (OOV) tokens to improve
personalized language models. Using publicly available data from Reddit, we
demonstrate improvements in offline metrics at the user level by interpolating
a global LSTM-based authoring model with a user-personalized n-gram model. By
optimizing this approach with a back-off to uniform OOV penalty and the
interpolation coefficient, we observe that over 80% of users receive a lift in
perplexity, with an average of 5.2% in perplexity lift per user. In doing this
research we extend previous work in building NLIs and improve the robustness of
metrics for downstream tasks.
- Abstract(参考訳): 本稿では,パーソナライズされた言語モデルとメソッドを補間し,OoVトークンを扱い,パーソナライズされた言語モデルを改善するための新しい手法について述べる。
redditの公開データを用いて,グローバルなlstmベースのオーサリングモデルをユーザパーソナライズしたn-gramモデルで補間することにより,ユーザレベルでのオフラインメトリクスの改善を実証する。
oovのペナルティと補間係数を統一したバックオフでこのアプローチを最適化することで、80%以上のユーザが1ユーザあたり平均5.2%のパープレキシティリフトを受け取り、パープレキシティのリフトを受け取ることを観察した。
この調査では、NLIの構築における以前の作業を拡張し、下流タスクのメトリクスの堅牢性を改善します。
関連論文リスト
- Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳(メタデータ) (2024-11-04T06:07:53Z) - Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。
この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。
高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
論文 参考訳(メタデータ) (2024-06-25T11:49:33Z) - Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。
現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。
トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
論文 参考訳(メタデータ) (2024-06-04T20:21:45Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳(メタデータ) (2024-05-31T14:21:04Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-11-17T19:40:07Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳(メタデータ) (2020-10-18T00:21:53Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳(メタデータ) (2020-04-07T19:49:58Z) - Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。
本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
論文 参考訳(メタデータ) (2020-02-19T01:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。