論文の概要: Pixel Sentence Representation Learning

• arxiv url: http://arxiv.org/abs/2402.08183v1
• Date: Tue, 13 Feb 2024 02:46:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 16:41:03.730199
• Title: Pixel Sentence Representation Learning
• Title（参考訳）: ピクセル文表現学習
• Authors: Chenghao Xiao, Zhuoxu Huang, Danlu Chen, G Thomas Hudson, Yizhi Li, Haoran Duan, Chenghua Lin, Jie Fu, Jungong Han, Noura Al Moubayed
• Abstract要約: 本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
• 参考スコア（独自算出の注目度）: 67.4775296225521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models are long known to be subpar in capturing sentence and document-level semantics. Though heavily investigated, transferring perturbation-based methods from unsupervised visual representation learning to NLP remains an unsolved problem. This is largely due to the discreteness of subword units brought by tokenization of language models, limiting small perturbations of inputs to form semantics-preserved positive pairs. In this work, we conceptualize the learning of sentence-level textual semantics as a visual representation learning process. Drawing from cognitive and linguistic sciences, we introduce an unsupervised visual sentence representation learning framework, employing visually-grounded text perturbation methods like typos and word order shuffling, resonating with human cognitive patterns, and enabling perturbation to texts to be perceived as continuous. Our approach is further bolstered by large-scale unsupervised topical alignment training and natural language inference supervision, achieving comparable performance in semantic textual similarity (STS) to existing state-of-the-art NLP methods. Additionally, we unveil our method's inherent zero-shot cross-lingual transferability and a unique leapfrogging pattern across languages during iterative training. To our knowledge, this is the first representation learning method devoid of traditional language models for understanding sentence and document semantics, marking a stride closer to human-like textual comprehension. Our code is available at https://github.com/gowitheflow-1998/Pixel-Linguist
• Abstract（参考訳）: 事前学習された言語モデルは、文と文書レベルのセマンティクスを捉えることで長く知られている。 しかし、教師なし視覚表現学習からNLPへの摂動に基づく手法の移行は未解決の問題である。 これは主に、言語モデルのトークン化によるサブワード単位の離散性によるものであり、入力の小さな摂動を制限することで意味論的保存された正の対を形成する。 本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 認知・言語科学を題材として,タイポスや単語順のシャッフルといった視覚的に接地したテキスト摂動法を用いて,人間の認知パターンと共振し,テキストの摂動を連続的に知覚する,教師なしの視覚表現学習フレームワークを提案する。 このアプローチは,大規模非教師なしのトピックアライメントトレーニングと自然言語推論の監督によってさらに強化され,既存のnlpメソッドとsemantic textual similarity (sts)で同等のパフォーマンスを達成している。 さらに,本手法が持つゼロショット言語間伝達可能性と,反復学習中の言語間における独自の跳躍パターンを提示する。 我々の知る限り、これは文章や文書の意味を理解する従来の言語モデルに欠ける最初の表現学習手法であり、人間のような文章理解に近づきつつあることを示す。 私たちのコードはhttps://github.com/gowitheflow-1998/Pixel-Linguistで利用可能です。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• TExplain: Explaining Learned Visual Features via Pre-trained (Frozen) Language Models [14.019349267520541]
  本稿では,事前学習した画像分類器の学習特徴を解釈するために,言語モデルの能力を活用する新しい手法を提案する。 提案手法は,与えられた画像の分類器によって学習された特徴を説明するために,膨大な数の文を生成する。 提案手法は,視覚表現に対応する頻繁な単語を初めて利用し,意思決定プロセスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-09-01T20:59:46Z)
• Learning an Artificial Language for Knowledge-Sharing in Multilingual Translation [15.32063273544696]
  コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。 我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。 また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
  論文  参考訳（メタデータ） (2022-11-02T17:14:42Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Text Transformations in Contrastive Self-Supervised Learning: A Review [27.25193476131943]
  自然言語処理の分野において,コントラスト学習の枠組みを定式化する。 コントラスト法を用いてより良いテキスト表現を学習するための課題と可能性について述べる。
  論文  参考訳（メタデータ） (2022-03-22T19:02:43Z)
• Adversarial Training with Contrastive Learning in NLP [0.0]
  本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。 中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。 この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
  論文  参考訳（メタデータ） (2021-09-19T07:23:45Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。