論文の概要: Situated Natural Language Explanations
- arxiv url: http://arxiv.org/abs/2308.14115v1
- Date: Sun, 27 Aug 2023 14:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 16:44:19.970139
- Title: Situated Natural Language Explanations
- Title(参考訳): 感性自然言語の解説
- Authors: Zining Zhu, Haoming Jiang, Jingfeng Yang, Sreyashi Nag, Chao Zhang,
Jie Huang, Yifan Gao, Frank Rudzicz, Bing Yin
- Abstract要約: 本研究では,NLEの生成と評価を行うフレームワークを提案する。
生成側では、NLEを状況に適応させる単純なプロンプトエンジニアリング手法を提案する。
評価面では,語彙,意味,実践的カテゴリーにおける自動評価スコアを設定した。
- 参考スコア(独自算出の注目度): 56.11758101279844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language is among the most accessible tools for explaining decisions
to humans, and large pretrained language models (PLMs) have demonstrated
impressive abilities to generate coherent natural language explanations (NLE).
The existing NLE research perspectives do not take the audience into account.
An NLE can have high textual quality, but it might not accommodate audiences'
needs and preference. To address this limitation, we propose an alternative
perspective, situated NLE, including a situated generation framework and a
situated evaluation framework. On the generation side, we propose simple prompt
engineering methods that adapt the NLEs to situations. In human studies, the
annotators preferred the situated NLEs. On the evaluation side, we set up
automated evaluation scores in lexical, semantic, and pragmatic categories. The
scores can be used to select the most suitable prompts to generate NLEs.
Situated NLE provides a perspective to conduct further research on automatic
NLE generations.
- Abstract(参考訳): 自然言語は人間に決定を説明する最もアクセスしやすいツールであり、大きな事前訓練された言語モデル(PLM)は、一貫性のある自然言語の説明(NLE)を生成する印象的な能力を示している。
既存のNLE研究の観点は、聴衆を考慮に入れていない。
NLEは高いテキスト品質を持つことができるが、観客のニーズや嗜好に対応できないかもしれない。
この制限に対処するため,我々は,位置生成フレームワークと位置評価フレームワークを含むnleの代替的な視点を提案する。
生成側では、NLEを状況に適応させる単純なプロンプトエンジニアリング手法を提案する。
人間の研究では、アノテーターは位置するNLEを好んだ。
評価面では,語彙,意味,実践的カテゴリーにおける自動評価スコアを設定した。
スコアはNLEを生成する最も適切なプロンプトを選択するために使用することができる。
Situated NLEは、NLEの自動世代に関するさらなる研究を行うための視点を提供する。
関連論文リスト
- Bayesian Preference Elicitation with Language Models [82.58230273253939]
本稿では,BOEDを用いて情報的質問の選択を案内するフレームワークOPENと,特徴抽出のためのLMを紹介する。
ユーザスタディでは,OPEN が既存の LM- や BOED をベースとした選好手法よりも優れていることが判明した。
論文 参考訳(メタデータ) (2024-03-08T18:57:52Z) - Natural Language Processing for Dialects of a Language: A Survey [59.78833854847185]
最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。
この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。
方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
論文 参考訳(メタデータ) (2024-01-11T03:04:38Z) - NLEBench+NorGLM: A Comprehensive Empirical Analysis and Benchmark
Dataset for Generative Language Models in Norwegian [4.236983772147863]
低リソース言語であるノルウェー語で自然言語生成能力を評価するためのベンチマークであるNLEBenchを紹介する。
NLEBenchは、ニュースストーリーテリング、要約、オープンドメイン会話、自然言語理解、命令の微調整、毒性、バイアス評価から、自己計算されたChain-of-Thought調査まで、現実世界のNLPタスクスイートを含んでいる。
本稿では,多様なパラメータスケールとトランスフォーマーに基づくアーキテクチャで開発されたノルウェー生成言語モデル(NorGLM)についても紹介する。
論文 参考訳(メタデータ) (2023-12-03T08:09:45Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating
Inconsistencies in Natural Language Explanations [52.33256203018764]
不整合性NLEを検出するために既存の敵攻撃を大幅に改善するために,外部知識ベースを活用する。
高いNLE品質のモデルが必ずしも矛盾を生じさせるとは限らないことを示す。
論文 参考訳(メタデータ) (2023-06-05T15:51:58Z) - SPARSEFIT: Few-shot Prompting with Sparse Fine-tuning for Jointly
Generating Predictions and Natural Language Explanations [22.280037513501338]
我々は、離散的なプロンプトを利用して予測とNLEを共同生成するスパース数発の微調整戦略であるSparseFitを提案する。
我々は,モデル生成NLEの品質を評価するために,自動的および人為的評価を行い,モデルパラメータの6.8%のみを微調整することで,競争結果が得られた。
論文 参考訳(メタデータ) (2023-05-22T17:06:41Z) - Chain of Explanation: New Prompting Method to Generate Higher Quality
Natural Language Explanation for Implicit Hate Speech [8.761064812847078]
暗黙のヘイトスピーチのための高品質なNLEを生成するために,提案手法を提案する。
我々は、語彙、意味、忠実な側面から様々な評価指標を用いて、選択された主流事前学習言語モデル(PLM)に基づくベンチマークを構築した。
ヒトの知覚から生成したNLEの品質を更に評価するために、生成したNLEの情報性と明瞭さを評価するために、人間のアノテータを雇う。
論文 参考訳(メタデータ) (2022-09-11T15:04:11Z) - Few-Shot Out-of-Domain Transfer Learning of Natural Language
Explanations [37.34026971090258]
自然言語の説明を提供するためのモデル(NLE)の訓練には、タスク固有のNLEの取得が必要である。
潜在的な解決策は、多数のNLEを持つドメインから少ないNLEを持つドメインへのNLEのドメイン外移動である。
NLEは少ないがラベルが豊富である場合,NLEを数秒間移行学習するための3つのバニラアプローチを導入する。
論文 参考訳(メタデータ) (2021-12-12T11:10:39Z) - e-ViL: A Dataset and Benchmark for Natural Language Explanations in
Vision-Language Tasks [52.918087305406296]
説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。
また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。
画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-05-08T18:46:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。