論文の概要: Language Model Decoding as Direct Metrics Optimization
- arxiv url: http://arxiv.org/abs/2310.01041v2
- Date: Wed, 5 Jun 2024 08:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 04:16:10.061174
- Title: Language Model Decoding as Direct Metrics Optimization
- Title(参考訳): 直接メトリクス最適化としての言語モデルデコーディング
- Authors: Haozhe Ji, Pei Ke, Hongning Wang, Minlie Huang,
- Abstract要約: 現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
- 参考スコア(独自算出の注目度): 87.68281625776282
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Despite the remarkable advances in language modeling, current mainstream decoding methods still struggle to generate texts that align with human texts across different aspects. In particular, sampling-based methods produce less-repetitive texts which are often disjunctive in discourse, while search-based methods maintain topic coherence at the cost of increased repetition. Overall, these methods fall short in achieving holistic alignment across a broad range of aspects. In this work, we frame decoding from a language model as an optimization problem with the goal of strictly matching the expected performance with human texts measured by multiple metrics of desired aspects simultaneously. The resulting decoding distribution enjoys an analytical solution that scales the input language model distribution via a sequence-level energy function defined by these metrics. And most importantly, we prove that this induced distribution is guaranteed to improve the perplexity on human texts, which suggests a better approximation to the underlying distribution of human texts. To facilitate tractable sampling from this globally normalized distribution, we adopt the Sampling-Importance-Resampling technique. Experiments on various domains and model scales demonstrate the superiority of our method in metrics alignment with human texts and human evaluation over strong baselines.
- Abstract(参考訳): 言語モデリングの顕著な進歩にもかかわらず、現在の主流の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに依然として苦労している。
特に、サンプリングベースの手法は、しばしば言論において不規則である少ない反復テキストを生成するが、検索ベースの手法は繰り返しの増大を犠牲にしてトピックコヒーレンスを維持する。
全体として、これらの手法は幅広い側面にわたる全体的アライメントを達成するには不十分である。
本研究では,言語モデルからの復号化を最適化問題として,所望のアスペクトの複数のメトリクスで測定された人文と期待性能を厳密にマッチングすることを目的としている。
結果として得られる復号化分布は、これらの指標によって定義されたシーケンスレベルのエネルギー関数を介して入力言語モデルの分布をスケールする分析解を享受する。
そして、最も重要なことは、この誘導された分布が人間のテキストの難易度を向上させることが保証されていることを示し、人間のテキストの基盤となる分布に対するより良い近似が示唆される。
グローバルな正規化分布から抽出可能なサンプリングを容易にするため,サンプリング・インポータンス・サンプリング手法を採用した。
各種領域実験とモデルスケール実験により,本手法がヒトのテキストに適合する指標や,強いベースラインに対する人的評価において優位性を示した。
関連論文リスト
- On the Sequence Evaluation based on Stochastic Processes [17.497842325320825]
本稿では,テキストエンコーダの訓練目標について紹介し,長文評価のためのより徹底的な測定(スコア)を設計する。
提案したトレーニング目的はシーケンスコヒーレンスを効果的に保存し,新しいスコアは時間的および空間的両方の依存関係を包括的にキャプチャする。
実験の結果,異なる長さの文書間の大域的および局所的な識別を含む,様々なシーケンス評価タスクにおいて,優れた性能を示した。
論文 参考訳(メタデータ) (2024-05-28T02:33:38Z) - Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。
我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
論文 参考訳(メタデータ) (2023-12-29T18:00:56Z) - Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text [1.919654267936118]
従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。
結果は、メソッド間でのパフォーマンスにかなりの違いが示される。
この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
論文 参考訳(メタデータ) (2023-11-21T06:23:38Z) - On the N-gram Approximation of Pre-trained Language Models [17.764803904135903]
大規模事前学習型言語モデル(PLM)は、様々な自然言語理解(NLU)タスクにおいて顕著な性能を示している。
本研究では,自動音声認識(ASR)における言語モデリングにおけるPLMの有用性について検討する。
我々は,GPT-2をn-gramモデルに近似するための大規模テキストサンプリングと確率変換の適用について比較した。
論文 参考訳(メタデータ) (2023-06-12T06:42:08Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - A Contrastive Framework for Neural Text Generation [46.845997620234265]
モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。
モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳(メタデータ) (2022-02-13T21:46:14Z) - Language Model Evaluation in Open-ended Text Generation [0.76146285961466]
本研究では,機械生成テキストの品質,多様性,一貫性を評価するために提案されている評価指標について検討する。
そこで我々は,オープン・エンド・ジェネレーション・タスクにおいて,言語モデルを評価するための実用的なパイプラインを提案する。
論文 参考訳(メタデータ) (2021-08-08T06:16:02Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。
このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。
本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
論文 参考訳(メタデータ) (2020-06-28T21:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。