論文の概要: Optimal word order for non-causal text generation with Large Language Models: the Spanish case

• arxiv url: http://arxiv.org/abs/2502.14451v1
• Date: Thu, 20 Feb 2025 11:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:05.194655
• Title: Optimal word order for non-causal text generation with Large Language Models: the Spanish case
• Title（参考訳）: 大規模言語モデルを用いた非因果テキスト生成のための最適単語順序:スペイン語の場合
• Authors: Andrea Busto-Castiñeira, Silvia García-Méndez, Francisco de Arriba-Pérez, Francisco J. González-Castaño,
• Abstract要約: 本稿では,最大語順推定のためのビタビアルゴリズムに基づく新しい手法を提案する。 スペイン語におけるNLGの非因果的最類似順の確率を解析し,同じフレーズをスペイン語の因果NLGで生成する確率を解析した。
• 参考スコア（独自算出の注目度）: 6.817247544942709
• License:
• Abstract: Natural Language Generation (NLG) popularity has increased owing to the progress in Large Language Models (LLMs), with zero-shot inference capabilities. However, most neural systems utilize decoder-only causal (unidirectional) transformer models, which are effective for English but may reduce the richness of languages with less strict word order, subject omission, or different relative clause attachment preferences. This is the first work that analytically addresses optimal text generation order for non-causal language models. We present a novel Viterbi algorithm-based methodology for maximum likelihood word order estimation. We analyze the non-causal most-likelihood order probability for NLG in Spanish and, then, the probability of generating the same phrases with Spanish causal NLG. This comparative analysis reveals that causal NLG prefers English-like SVO structures. We also analyze the relationship between optimal generation order and causal left-to-right generation order using Spearman's rank correlation. Our results demonstrate that the ideal order predicted by the maximum likelihood estimator is not closely related to the causal order and may be influenced by the syntactic structure of the target sentence.
• Abstract（参考訳）: 自然言語生成(NLG)の人気は、ゼロショット推論機能を備えたLarge Language Models(LLM)の進歩により高まっている。 しかし、ほとんどのニューラルシステムはデコーダのみの因果変換モデル(一方向変換モデル)を用いており、これは英語に有効であるが、厳密な単語順、主語省略、または異なる相対的節のアタッチメントの好みで言語の豊かさを減少させる可能性がある。 これは、非因果的言語モデルに対する最適なテキスト生成順序を解析的に扱う最初の研究である。 本稿では,最大語順推定のためのビタビアルゴリズムに基づく新しい手法を提案する。 スペイン語におけるNLGの非因果的最類似順の確率を解析し,同じフレーズをスペイン語の因果NLGで生成する確率を解析した。 この比較分析により、因果NLGは英語に似たSVO構造を好むことが明らかとなった。 また,スピアマンのランク相関を用いた最適生成順序と因果的左右生成順序の関係を解析した。 その結果,最大極大推定器によって予測される理想順序は因果順序と密接な関係がなく,目的文の構文構造に影響される可能性が示唆された。

関連論文リスト

• Predictability and Causality in Spanish and English Natural Language Generation [6.817247544942709]
  本稿では,英語とスペイン語の因果関係と非因果関係を比較検討する。 この実験によると、スペイン語は非因果関係から英語よりも予測可能である。 これらの知見は、双方向トランスフォーマー言語モデルを用いたスペイン語におけるNLGのさらなる研究を支援する。
  論文  参考訳（メタデータ） (2024-08-26T14:09:28Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
  直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。 まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。 我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
  論文  参考訳（メタデータ） (2024-02-22T21:36:07Z)
• RankGen: Improving Text Generation with Large Ranking Models [43.448251157355784]
  RankGenは、プレフィックスを与えられた世代をスコアするエンコーダモデルである。 ビームサーチにおいてスコアリング関数として柔軟に組み込むことができる。 RankGenは、核、トップk、典型的なサンプリングといったデコードアルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-05-19T17:36:46Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Learning and Analyzing Generation Order for Undirected Sequence Models [86.10875837475783]
  我々は、強化学習を通して、事前訓練された非直接翻訳モデルの生成順序を学習する政策を訓練する。 学習順序による翻訳は,マンシモフらの学習順序によって左から右へ復号された出力や復号された出力よりも高いBLEUスコアが得られることを示す。 我々の発見は、非方向性生成モデルのメカニズムに関するさらなる洞察を与え、この方向のさらなる研究を奨励する可能性がある。
  論文  参考訳（メタデータ） (2021-12-16T18:29:07Z)
• Exploiting Language Model for Efficient Linguistic Steganalysis: An Empirical Study [23.311007481830647]
  言語ステガナリシスを効果的に行うための2つの方法を提案する。 1つはRNNに基づく言語モデルの事前トレーニングであり、もう1つはシーケンスオートエンコーダの事前トレーニングである。
  論文  参考訳（メタデータ） (2021-07-26T12:37:18Z)
• Second-Order Unsupervised Neural Dependency Parsing [52.331561380948564]
  ほとんどの教師なし依存は、親子情報のみを考慮した一階確率的生成モデルに基づいている。 親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。 我々のジョイントモデルは、完全なWSJテストセットにおける前の最先端技術よりも10%改善します。
  論文  参考訳（メタデータ） (2020-10-28T03:01:33Z)
• Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
  英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
  論文  参考訳（メタデータ） (2020-05-01T01:21:47Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。