論文の概要: AmbigNLG: Addressing Task Ambiguity in Instruction for NLG
- arxiv url: http://arxiv.org/abs/2402.17717v1
- Date: Tue, 27 Feb 2024 17:52:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 15:16:39.212470
- Title: AmbigNLG: Addressing Task Ambiguity in Instruction for NLG
- Title(参考訳): AmbigNLG: NLGの指導におけるタスク曖昧性への対応
- Authors: Ayana Niwa, Hayate Iso
- Abstract要約: 本稿では,自然言語生成(NLG)タスクにおけるタスク曖昧性の課題に対処するための新しいタスクであるAmbigNLGを紹介する。
提案手法は,テキスト生成の質を著しく向上させ,明快かつ具体的命令の重要な役割を強調した。
- 参考スコア(独自算出の注目度): 4.136072866033915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we introduce AmbigNLG, a new task designed to tackle the
challenge of task ambiguity in instructions for Natural Language Generation
(NLG) tasks. Despite the impressive capabilities of Large Language Models
(LLMs) in understanding and executing a wide range of tasks through natural
language interaction, their performance is significantly hindered by the
ambiguity present in real-world instructions. To address this, AmbigNLG seeks
to identify and mitigate such ambiguities, aiming to refine instructions to
match user expectations better. We introduce a dataset, AmbigSNI-NLG,
consisting of 2,500 instances, and develop an ambiguity taxonomy for
categorizing and annotating instruction ambiguities. Our approach demonstrates
substantial improvements in text generation quality, highlighting the critical
role of clear and specific instructions in enhancing LLM performance in NLG
tasks.
- Abstract(参考訳): 本研究では,自然言語生成(NLG)タスクにおけるタスク曖昧性の課題に対処するための新しいタスクであるAmbigNLGを紹介する。
自然言語インタラクションによる幅広いタスクの理解と実行において,LLM(Large Language Models)が持つ印象的な能力にもかかわらず,それらの性能は実世界の命令の曖昧さによって著しく損なわれている。
これを解決するため、AmbigNLGはこうした曖昧さを特定し緩和し、ユーザー期待に合うように指示を洗練することを目指している。
2500インスタンスからなるambigsni-nlgというデータセットを導入し,命令の曖昧さを分類・注釈するあいまい度分類法を開発した。
提案手法はテキスト生成品質を大幅に向上させ,NLGタスクにおけるLLM性能向上における明瞭かつ具体的な命令の重要性を強調した。
関連論文リスト
- Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - Auto-Instruct: Automatic Instruction Generation and Ranking for
Black-Box Language Models [91.02730155418699]
大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。
LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。
118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
論文 参考訳(メタデータ) (2023-10-19T19:52:55Z) - We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
あいまいさの管理は人間の言語理解の重要な部分です。
文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。
我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
論文 参考訳(メタデータ) (2023-04-27T17:57:58Z) - LINGO : Visually Debiasing Natural Language Instructions to Support Task
Diversity [11.44413929033824]
我々は,タスク駆動型ワークフローをサポートする新しいビジュアル分析インタフェースであるINGOを開発した。
我々は,1,616の言語課題のデータセットとその自然言語命令について,初心者と専門家の双方でユーザスタディを実施している。
両方のユーザグループに対して、lingOは事前訓練されたモデルのより難しいタスクの作成を促進する。
論文 参考訳(メタデータ) (2023-04-12T22:55:52Z) - InstructionNER: A Multi-Task Instruction-Based Generative Framework for
Few-shot NER [31.32381919473188]
InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。
具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。
実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
論文 参考訳(メタデータ) (2022-03-08T07:56:36Z) - Natural Instructions: Benchmarking Generalization to New Tasks from
Natural Language Instructions [48.32337380549338]
我々は,GPT3と細調整BARTのわずかなプロンプトにより,新しいタスクに対処する上で,既存の最先端言語モデル(LM)を評価する。
a)既存のモデルは命令の恩恵を受けており、従って、新しいタスクへの一般化の改善を示す; (b) GPT-3のようなモデルは命令の恩恵を受けるが、その利得の程度は異なる命令の分野によって異なり、また、解決されるタスクにも依存する。
論文 参考訳(メタデータ) (2021-04-18T08:44:56Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z) - Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。
NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。
本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
論文 参考訳(メタデータ) (2020-10-08T20:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。