論文の概要: PEER: A Collaborative Language Model

• arxiv url: http://arxiv.org/abs/2208.11663v1
• Date: Wed, 24 Aug 2022 16:56:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-25 12:36:00.375638
• Title: PEER: A Collaborative Language Model
• Title（参考訳）: PEER:協調型言語モデル
• Authors: Timo Schick, Jane Dwivedi-Yu, Zhengbao Jiang, Fabio Petroni, Patrick Lewis, Gautier Izacard, Qingfei You, Christoforos Nalmpantis, Edouard Grave, Sebastian Riedel
• Abstract要約: PEER(コラボレーティブ言語モデル)は,記述プロセス全体を模倣した言語モデルである。 PEERは、ドラフトの作成、提案の追加、編集の提案、アクションの説明を提供することができる。 PEERは様々な領域にまたがって高い性能を示し,編集作業を行う。
• 参考スコア（独自算出の注目度）: 70.11876901409906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Textual content is often the output of a collaborative writing process: We start with an initial draft, ask for suggestions, and repeatedly make changes. Agnostic of this process, today's language models are trained to generate only the final result. As a consequence, they lack several abilities crucial for collaborative writing: They are unable to update existing texts, difficult to control and incapable of verbally planning or explaining their actions. To address these shortcomings, we introduce PEER, a collaborative language model that is trained to imitate the entire writing process itself: PEER can write drafts, add suggestions, propose edits and provide explanations for its actions. Crucially, we train multiple instances of PEER able to infill various parts of the writing process, enabling the use of self-training techniques for increasing the quality, amount and diversity of training data. This unlocks PEER's full potential by making it applicable in domains for which no edit histories are available and improving its ability to follow instructions, to write useful comments, and to explain its actions. We show that PEER achieves strong performance across various domains and editing tasks.
• Abstract（参考訳）: テキストコンテンツは、しばしば共同執筆プロセスの出力である: 最初のドラフトから始めて、提案を求め、繰り返し変更する。 このプロセスによらず、今日の言語モデルは最終結果のみを生成するように訓練されている。 既存のテキストを更新できず、制御が困難で、口頭で計画したり、説明したりすることができない。 これらの欠点に対処するために、peerという共同言語モデルを紹介します。peerは、書き込みプロセスそのものを模倣するように訓練されています。 重要なのは、複数のピアインスタンスをトレーニングすることで、書き込みプロセスのさまざまな部分を埋め込むことができ、トレーニングデータの質、量、多様性を高めるために、自己学習技術を利用できることです。 これにより、編集履歴がないドメインに適用でき、指示に従う能力を改善し、有用なコメントを書き、アクションを説明することで、peerの潜在能力を最大限に活用できる。 PEERは様々な領域で高い性能を示し,編集作業を行う。

関連論文リスト

• GhostWriter: Augmenting Collaborative Human-AI Writing Experiences Through Personalization and Agency [1.7707677585873678]
  大規模言語モデル(LLM)はより広く普及し、様々な形式の筆記補助を提供するのにユビキタスな用途を見出した。 我々はGhostWriterを紹介した。GhostWriterはAIによって強化された書き込みデザインプローブで、ユーザーは強化されたエージェンシーとパーソナライゼーションを実行できる。 GhostWriterを2つの異なる書き込みタスクで使用した18人の参加者を対象に、ユーザがパーソナライズされたテキスト世代の作成を支援し、システムの書き込みスタイルを制御する複数の方法を提供する。
  論文  参考訳（メタデータ） (2024-02-13T23:48:59Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• ABScribe: Rapid Exploration & Organization of Multiple Writing Variations in Human-AI Co-Writing Tasks using Large Language Models [24.825435085579937]
  ABScribeは、迅速かつ視覚的に構造化され、探索され、書込みのバリエーションの組織化をサポートするインタフェースである。 ABScribeでは、再利用可能なボタンに自動変換されるLSMプロンプトを使用して、変更を迅速に修正することができる。 変化はテキストフィールドに隣接して格納され、ポップアップツールバー上のマウスオーバーインタラクションを用いた高速なインプレース比較を行う。
  論文  参考訳（メタデータ） (2023-09-29T20:11:15Z)
• PerPLM: Personalized Fine-tuning of Pretrained Language Models via Writer-specific Intermediate Learning and Prompts [16.59511985633798]
  事前訓練言語モデル(PLM)はコンテキストをキャプチャするための強力なツールである。 PLMは通常、様々な作家の間で広く使われるように訓練され、微調整されている。 本研究では, PLMの微調整を具体化することで, テキスト理解タスクの精度を向上させることを目的とする。
  論文  参考訳（メタデータ） (2023-09-14T14:03:48Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)
• CoditT5: Pretraining for Source Code and Natural Language Editing [34.77621217370665]
  CoditT5は、大量のソースコードと自然言語コメントで事前訓練された、ソフトウェア関連の編集タスクのための大規模な言語モデルである。 コメント更新、バグ修正、自動コードレビューなど、さまざまなダウンストリーム編集タスクを微調整します。
  論文  参考訳（メタデータ） (2022-08-10T16:59:40Z)
• Read, Revise, Repeat: A System Demonstration for Human-in-the-loop Iterative Text Revision [11.495407637511878]
  本稿では,リピート・リバイス・リピート・リピート・リピート (R3) によるヒューマン・イン・ザ・ループ・イテレーティブ・テキスト・リフレクションシステムを提案する。 R3は、モデル生成のリビジョンとユーザからのフィードバックを読み、文書を改訂し、人間と機械の相互作用を繰り返すことで、人間の最小限の努力で高品質なテキストリビジョンを実現することを目的としている。
  論文  参考訳（メタデータ） (2022-04-07T18:33:10Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。