Fugu-MT 論文翻訳(概要): Get the gist? Using large language models for few-shot decontextualization

論文の概要: Get the gist? Using large language models for few-shot decontextualization

arxiv url: http://arxiv.org/abs/2310.06254v1
Date: Tue, 10 Oct 2023 02:00:00 GMT
ステータス: 処理完了
システム内更新日: 2023-10-11 21:09:30.020555
Title: Get the gist? Using large language models for few-shot decontextualization
Title（参考訳）: ギストは? 大規模言語モデルによる音声の非コンテクスト化
Authors: Benjamin Kane and Lenhart Schubert
Abstract要約: 本稿では,大規模言語モデルを用いたデコンテクスト化手法を提案する。本手法は,少数の例のみを用いて,複数の領域で実行可能な性能を実現する。
参考スコア（独自算出の注目度）: 3.2271521193192734
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In many NLP applications that involve interpreting sentences within a rich context -- for instance, information retrieval systems or dialogue systems -- it is desirable to be able to preserve the sentence in a form that can be readily understood without context, for later reuse -- a process known as ``decontextualization''. While previous work demonstrated that generative Seq2Seq models could effectively perform decontextualization after being fine-tuned on a specific dataset, this approach requires expensive human annotations and may not transfer to other domains. We propose a few-shot method of decontextualization using a large language model, and present preliminary results showing that this method achieves viable performance on multiple domains using only a small set of examples.
Abstract（参考訳）: 例えば情報検索システムや対話システムなど、リッチなコンテキスト内で文を解釈する多くのnlpアプリケーションでは、後に再利用するために、文脈なしで容易に理解可能な形式で文を保存することが望ましい。以前の研究では、生成型seq2seqモデルが特定のデータセット上で微調整された後に、効果的にデコンテキスト化を行うことができることを示したが、このアプローチには高価なヒューマンアノテーションが必要であり、他のドメインへの転送はできない。本稿では,大規模言語モデルを用いたデコンテクスチャライズ手法を提案するとともに,本手法が複数のドメインで実現可能であることを示す予備的な結果を示す。

関連論文リスト

Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
論文参考訳（メタデータ） (2024-10-08T16:16:47Z)
Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文参考訳（メタデータ） (2024-03-26T12:47:39Z)
Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs [6.869834883252353]
本稿では,この課題に対して事前訓練を受けていない大規模言語モデルの性能を評価する。その結果,大規模言語モデルでは対話からグラフクエリを生成することができることがわかった。
論文参考訳（メタデータ） (2024-01-03T12:28:33Z)
Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文参考訳（メタデータ） (2023-12-15T15:46:02Z)
Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
論文参考訳（メタデータ） (2023-05-26T08:44:02Z)
Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文参考訳（メタデータ） (2023-02-12T15:05:10Z)
Compositional Semantic Parsing with Large Language Models [27.627684573915147]
我々はより大きな語彙を持つより現実的な意味解析タスクにおける課題を特定する。我々の最良の方法は最短のプロンプトに基づいている。同様の取り組みが、他のタスクやドメインで新たな結果をもたらすことを期待しています。
論文参考訳（メタデータ） (2022-09-29T17:58:28Z)
Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。提案手法は,複数の公開データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-22T10:13:27Z)
In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
論文参考訳（メタデータ） (2022-03-16T11:58:24Z)
Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文参考訳（メタデータ） (2021-05-31T21:14:58Z)
MICE: Mining Idioms with Contextual Embeddings [0.0]
MICEatic式は自然言語処理アプリケーションでは問題となることがある。我々は,その目的のためにコンテキスト埋め込みを利用するアプローチを提案する。両埋め込みを用いたディープニューラルネットワークは,既存のアプローチよりも優れた性能を示す。
論文参考訳（メタデータ） (2020-08-13T08:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。