論文の概要: Multichannel Generative Language Model: Learning All Possible Factorizations Within and Across Channels

• arxiv url: http://arxiv.org/abs/2010.04438v1
• Date: Fri, 9 Oct 2020 08:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 03:52:58.379276
• Title: Multichannel Generative Language Model: Learning All Possible Factorizations Within and Across Channels
• Title（参考訳）: マルチチャネル生成言語モデル:チャネル内およびチャネル間における可能なすべての因子化の学習
• Authors: Harris Chan, Jamie Kiros, William Chan
• Abstract要約: MGLM(Multi Channel Generative Language Model)を提案する。 MGLMは、全てのチャネル内および至る所で可能なすべての因数分解をマーシャリゼーションする。 非条件, 条件, 部分条件生成による実験を実演する。 また、品質多様性のトレードオフを定量的に分析し、MGLMが従来のバイリンガル識別モデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.173240589287435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A channel corresponds to a viewpoint or transformation of an underlying meaning. A pair of parallel sentences in English and French express the same underlying meaning, but through two separate channels corresponding to their languages. In this work, we present the Multichannel Generative Language Model (MGLM). MGLM is a generative joint distribution model over channels. MGLM marginalizes over all possible factorizations within and across all channels. MGLM endows flexible inference, including unconditional generation, conditional generation (where 1 channel is observed and other channels are generated), and partially observed generation (where incomplete observations are spread across all the channels). We experiment with the Multi30K dataset containing English, French, Czech, and German. We demonstrate experiments with unconditional, conditional, and partially conditional generation. We provide qualitative samples sampled unconditionally from the generative joint distribution. We also quantitatively analyze the quality-diversity trade-offs and find MGLM outperforms traditional bilingual discriminative models.
• Abstract（参考訳）: チャネルは、基礎となる意味の視点または変換に対応する。 英語とフランス語のパラレルな文は、同じ意味を表現しているが、それぞれの言語に対応する2つの異なるチャンネルを通して表現される。 本稿では,多チャンネル生成言語モデル(MGLM)を提案する。 MGLMはチャネル上の生成結合分布モデルである。 MGLMは、全てのチャネル内および至る所で可能なすべての因数分解をマーシャリゼーションする。 mglmは、無条件生成、条件生成(1チャンネルが観測され、他のチャネルが生成される)、および部分的に観測された生成(不完全な観測が全てのチャネルに広がる)を含む柔軟な推論を行う。 英語、フランス語、チェコ語、ドイツ語を含むMulti30Kデータセットを実験した。 非条件, 条件, 部分条件生成による実験を実演する。 生成ジョイント分布から無条件にサンプリングした質的サンプルを提供する。 また、品質多様性のトレードオフを定量的に分析し、MGLMが従来のバイリンガル識別モデルより優れていることを示す。

関連論文リスト

• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models [97.40590590880144]
  MLLM(Multimodality Large Language Model)シリーズを開発した。 我々は、言語、ビジョン、視覚言語タスクで利用可能なリソースを網羅した包括的なデータセットを組み立てる。 パラメータサイズや多言語能力の異なるMLLMのスペクトルを得る。
  論文  参考訳（メタデータ） (2024-02-08T18:59:48Z)
• Deriving Language Models from Masked Language Models [12.628196757545979]
  Masked Language Model (MLM) は言語上の分布を明確に定義していない。 最近の研究は、それらを生成と得点の目的で暗黙的に扱っている。
  論文  参考訳（メタデータ） (2023-05-24T18:42:45Z)
• Inconsistencies in Masked Language Models [20.320583166619528]
  Masked Language Model (MLM) は、マスキングされた位置におけるトークンの分布をシーケンスで提供することができる。 異なるマスキングパターンに対応する分布は、かなりの矛盾を示す可能性がある。 本稿では,条件文の集合(Ensemble of Conditionals)と呼ばれる fors の推論時間戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-30T22:53:25Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• Interpreting Class Conditional GANs with Channel Awareness [57.01413866290279]
  クラス条件生成器が複数のクラスの合成をどのように統合するかを検討する。 このような現象を説明するために、単一チャネルが最終合成にどのように貢献するかを定量的に特徴づけるチャネル認識を提案する。 我々のアルゴリズムは条件付きGANでいくつかの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2022-03-21T17:53:22Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• A Variational Hierarchical Model for Neural Cross-Lingual Summarization [85.44969140204026]
  言語間の要約(英: cross-lingual summarization)とは、ある言語の文書を別の言語の要約に変換することである。 CLSに関する既存の研究は主にパイプライン手法の利用やエンドツーエンドモデルの共同トレーニングに重点を置いている。 条件付き変分自動エンコーダに基づくCLSタスクの階層モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-08T02:46:11Z)
• Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training [21.934439663979663]
  多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM) 教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法 2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-02-28T09:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。