論文の概要: Search and Learning for Unsupervised Text Generation
- arxiv url: http://arxiv.org/abs/2309.09497v1
- Date: Mon, 18 Sep 2023 05:44:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 15:02:19.842845
- Title: Search and Learning for Unsupervised Text Generation
- Title（参考訳）: 教師なしテキスト生成のための検索と学習
- Authors: Lili Mou
- Abstract要約: 本稿では,教師なしテキスト生成における検索と学習のアプローチに関する最近の研究を紹介する。
機械学習モデルは、検索結果からさらに学習し、ノイズを滑らかにし、効率を向上させる。
- 参考スコア（独自算出の注目度）: 27.940118426945872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advances of deep learning techniques, text generation is attracting
increasing interest in the artificial intelligence (AI) community, because of
its wide applications and because it is an essential component of AI.
Traditional text generation systems are trained in a supervised way, requiring
massive labeled parallel corpora. In this paper, I will introduce our recent
work on search and learning approaches to unsupervised text generation, where a
heuristic objective function estimates the quality of a candidate sentence, and
discrete search algorithms generate a sentence by maximizing the search
objective. A machine learning model further learns from the search results to
smooth out noise and improve efficiency. Our approach is important to the
industry for building minimal viable products for a new task; it also has high
social impacts for saving human annotation labor and for processing
low-resource languages.
- Abstract（参考訳）: ディープラーニング技術の進歩により、テキスト生成は人工知能(AI)コミュニティへの関心が高まっている。
従来のテキスト生成システムは教師ありの方法で訓練され、大量のラベル付き並列コーパスを必要とする。
本稿では,教師なしテキスト生成における探索と学習のアプローチに関する最近の研究を紹介する。そこでは,ヒューリスティックな目的関数が候補文の品質を推定し,個別探索アルゴリズムが探索対象を最大化して文を生成する。
機械学習モデルは、検索結果からさらに学習し、ノイズを平滑化し、効率を向上させる。
私たちのアプローチは、新しいタスクのために最小限の実行可能な製品を構築するために、業界にとって重要です。
関連論文リスト
- DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。
DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。
我々の手法はテキストエンコーダと互換性がある。
論文 参考訳（メタデータ） (2024-10-28T12:34:49Z) - Combatting Human Trafficking in the Cyberspace: A Natural Language
Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。
我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。
重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
論文 参考訳（メタデータ） (2023-11-22T02:45:01Z) - The Imitation Game: Detecting Human and AI-Generated Texts in the Era of
ChatGPT and BARD [3.2228025627337864]
異なるジャンルの人文・AI生成テキストのデータセットを新たに導入する。
テキストを分類するために、いくつかの機械学習モデルを使用します。
結果は、人間とAIが生成したテキストを識別する上で、これらのモデルの有効性を示す。
論文 参考訳（メタデータ） (2023-07-22T21:00:14Z) - Towards A Unified Agent with Foundation Models [18.558328028366816]
強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。
我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。
探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
論文 参考訳（メタデータ） (2023-07-18T22:37:30Z) - A Survey on Retrieval-Augmented Text Generation [53.04991859796971]
Retrieval-augmented text generationは顕著な利点があり、多くのNLPタスクで最先端のパフォーマンスを実現している。
まず、検索拡張生成の一般的なパラダイムを強調し、異なるタスクに応じて注目すべきアプローチをレビューする。
論文 参考訳（メタデータ） (2022-02-02T16:18:41Z) - TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。
提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。
提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
論文 参考訳（メタデータ） (2021-04-16T17:55:28Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。
入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。
この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
論文 参考訳（メタデータ） (2020-10-09T06:46:46Z) - Unsupervised Text Generation by Learning from Search [86.51619839836331]
TGLSは、教師なしテキスト生成のための新しいフレームワークである。
実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
論文 参考訳（メタデータ） (2020-07-09T04:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。