論文の概要: AmbigNLG: Addressing Task Ambiguity in Instruction for NLG
- arxiv url: http://arxiv.org/abs/2402.17717v2
- Date: Tue, 6 Aug 2024 18:42:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 18:02:16.620138
- Title: AmbigNLG: Addressing Task Ambiguity in Instruction for NLG
- Title(参考訳): AmbigNLG: NLGの指導におけるタスクの曖昧さに対処する
- Authors: Ayana Niwa, Hayate Iso,
- Abstract要約: 本稿では,自然言語生成(NLG)タスクにおけるタスク曖昧性の課題に対処するための新しいタスクであるAmbigNLGを紹介する。
提案手法は,テキスト生成の質を著しく向上させ,明快かつ具体的命令の重要な役割を強調した。
- 参考スコア(独自算出の注目度): 3.501089006246038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we introduce AmbigNLG, a new task designed to tackle the challenge of task ambiguity in instructions for Natural Language Generation (NLG) tasks. Despite the impressive capabilities of Large Language Models (LLMs) in understanding and executing a wide range of tasks through natural language interaction, their performance is significantly hindered by the ambiguity present in real-world instructions. To address this, AmbigNLG seeks to identify and mitigate such ambiguities, aiming to refine instructions to match user expectations better. We introduce a dataset, AmbigSNI-NLG, consisting of 2,500 instances, and develop an ambiguity taxonomy for categorizing and annotating instruction ambiguities. Our approach demonstrates substantial improvements in text generation quality, highlighting the critical role of clear and specific instructions in enhancing LLM performance in NLG tasks.
- Abstract(参考訳): 本研究では,自然言語生成(NLG)タスクにおけるタスク曖昧性の課題に対処するための新しいタスクであるAmbigNLGを紹介する。
自然言語インタラクションによる幅広いタスクの理解と実行において,LLM(Large Language Models)が持つ印象的な能力にもかかわらず,それらの性能は実世界の命令の曖昧さによって著しく損なわれている。
これを解決するため、AmbigNLGはこうした曖昧さを識別し緩和し、ユーザー期待に合うように指示を洗練することを目指している。
2500のインスタンスからなるデータセットであるAmbigSNI-NLGを導入し、指示のあいまいさを分類・注釈するあいまいさ分類法を開発した。
提案手法はテキスト生成品質の大幅な向上を示し,NLGタスクにおけるLLM性能向上における明瞭かつ具体的な命令の重要性を強調した。
関連論文リスト
- Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。
本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。
我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
論文 参考訳(メタデータ) (2024-07-04T16:41:08Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - Auto-Instruct: Automatic Instruction Generation and Ranking for
Black-Box Language Models [91.02730155418699]
大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。
LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。
118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
論文 参考訳(メタデータ) (2023-10-19T19:52:55Z) - We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
あいまいさの管理は人間の言語理解の重要な部分です。
文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。
我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
論文 参考訳(メタデータ) (2023-04-27T17:57:58Z) - LINGO : Visually Debiasing Natural Language Instructions to Support Task
Diversity [11.44413929033824]
我々は,タスク駆動型ワークフローをサポートする新しいビジュアル分析インタフェースであるINGOを開発した。
我々は,1,616の言語課題のデータセットとその自然言語命令について,初心者と専門家の双方でユーザスタディを実施している。
両方のユーザグループに対して、lingOは事前訓練されたモデルのより難しいタスクの作成を促進する。
論文 参考訳(メタデータ) (2023-04-12T22:55:52Z) - InstructionNER: A Multi-Task Instruction-Based Generative Framework for
Few-shot NER [31.32381919473188]
InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。
具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。
実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
論文 参考訳(メタデータ) (2022-03-08T07:56:36Z) - Natural Instructions: Benchmarking Generalization to New Tasks from
Natural Language Instructions [48.32337380549338]
我々は,GPT3と細調整BARTのわずかなプロンプトにより,新しいタスクに対処する上で,既存の最先端言語モデル(LM)を評価する。
a)既存のモデルは命令の恩恵を受けており、従って、新しいタスクへの一般化の改善を示す; (b) GPT-3のようなモデルは命令の恩恵を受けるが、その利得の程度は異なる命令の分野によって異なり、また、解決されるタスクにも依存する。
論文 参考訳(メタデータ) (2021-04-18T08:44:56Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-12-30T03:35:22Z) - Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。
NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。
本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
論文 参考訳(メタデータ) (2020-10-08T20:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。