論文の概要: Local and Global Decoding in Text Generation

• arxiv url: http://arxiv.org/abs/2410.10810v1
• Date: Mon, 14 Oct 2024 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:24:58.953249
• Title: Local and Global Decoding in Text Generation
• Title（参考訳）: テキスト生成における局所デコードとグローバルデコード
• Authors: Daniel Gareev, Thomas Hofmann, Ezhilmathi Krishnasamy, Tiago Pimentel,
• Abstract要約: テキスト生成は、言語モデル分布から文字列をサンプリングする復号アルゴリズムに依存する。 本稿では,これらの復号化手法のグローバル正規化版の導入による歪みの影響について検討する。 この結果から,歪みは局所復号アルゴリズムの重要な特徴であることが示唆された。
• 参考スコア（独自算出の注目度）: 36.38298679687864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text generation, a key component in applications such as dialogue systems, relies on decoding algorithms that sample strings from a language model distribution. Traditional methods, such as top-$k$ and top-$\pi$, apply local normalisation to the model's output distribution, which can distort it. In this paper, we investigate the effect of this distortion by introducing globally-normalised versions of these decoding methods. Additionally, we propose an independent Metropolis-Hastings algorithm to approximate sampling from globally-normalised distributions without explicitly computing them. Our empirical analysis compares the performance of local and global normalisation across two decoding algorithms (top-$k$ and top-$\pi$) with various hyperparameters, using Pythia language models. Results show that, in most configurations, global decoding performs worse than the local decoding version of the same algorithms -- despite preserving the distribution's integrity. Our results suggest that distortion is an important feature of local decoding algorithms.
• Abstract（参考訳）: 対話システムのようなアプリケーションにおける重要なコンポーネントであるテキスト生成は、言語モデル分布から文字列をサンプリングする復号アルゴリズムに依存している。 top-k$ や top-\pi$ のような伝統的なメソッドは、モデルの出力分布に局所正規化を適用し、それを歪ませることができる。 本稿では,これらの復号化手法のグローバル正規化版を導入することにより,この歪みの影響について検討する。 さらに,グローバルな正規分布からのサンプリングを明示的に計算せずに近似する独立なメトロポリス・ハスティングスアルゴリズムを提案する。 我々の実証分析は、Pythia言語モデルを用いて、2つの復号アルゴリズム(top-k$とtop-\pi$)における局所正規化とグローバル正規化のパフォーマンスを比較した。 その結果、ほとんどの構成では、グローバルデコーディングは、同じアルゴリズムのローカルデコーディングバージョンよりもパフォーマンスが悪く、ディストリビューションの整合性は保たれている。 この結果から,歪みは局所復号アルゴリズムの重要な特徴であることが示唆された。

関連論文リスト

• The Rate-Distortion-Perception-Classification Tradeoff: Joint Source Coding and Modulation via Inverse-Domain GANs [4.735670734773145]
  チャネルレート,歪み知覚,分類精度の厳密なトレードオフが存在することを示す。 本稿では,このトレードオフをナビゲートする2つの画像圧縮手法を提案する。 また、提案したID-GANアルゴリズムは、画像の歪み、知覚、分類精度のバランスを保ち、従来の分離法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2023-12-22T16:06:43Z)
• Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
  現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。 本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。 この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
  論文  参考訳（メタデータ） (2023-10-02T09:35:27Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• Massive-scale Decoding for Text Generation using Lattices [34.2658286826597]
  多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。 我々のアルゴリズムは、文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化している。
  論文  参考訳（メタデータ） (2021-12-14T18:56:11Z)
• Global and Local Alignment Networks for Unpaired Image-to-Image Translation [170.08142745705575]
  未ペア画像から画像への変換の目的は、対象領域のスタイルを反映した出力画像を作成することである。 既存の手法では内容変化に注意が払われていないため、ソース画像からの意味情報は翻訳中の劣化に悩まされる。 我々はGLA-Net(Global and Local Alignment Networks)という新しいアプローチを導入する。 本手法は既存の手法よりもシャープでリアルな画像を効果的に生成する。
  論文  参考訳（メタデータ） (2021-11-19T18:01:54Z)
• Learning Multiple Sound Source 2D Localization [7.564344795030588]
  複数音源定位のための深層学習に基づく新しいアルゴリズムを提案する。 エンコーディングデコードアーキテクチャを使用して、タスクを達成するために2つの改善を提案します。 解像度に基づく複数ソースアソシエーションに基づく新しいメトリクスが開発されている。
  論文  参考訳（メタデータ） (2020-12-10T08:51:16Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)
• Principles and Algorithms for Forecasting Groups of Time Series: Locality and Globality [0.5076419064097732]
  時系列の集合を局所的および大域的手法で予測する設定を定式化する。 グローバルモデルは以前考えられていたよりも幅広い問題に成功する可能性がある。 故意にこれらの原理から導かれるアルゴリズムは、精度が向上する。
  論文  参考訳（メタデータ） (2020-08-02T10:22:05Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。