論文の概要: Beyond Labels: Empowering Human Annotators with Natural Language Explanations through a Novel Active-Learning Architecture

• arxiv url: http://arxiv.org/abs/2305.12710v2
• Date: Mon, 23 Oct 2023 16:44:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 12:14:08.856595
• Title: Beyond Labels: Empowering Human Annotators with Natural Language Explanations through a Novel Active-Learning Architecture
• Title（参考訳）: Beyond Labels: 新しいアクティブラーニングアーキテクチャによる自然言語説明による人間アノテーションの強化
• Authors: Bingsheng Yao, Ishan Jindal, Lucian Popa, Yannis Katsis, Sayan Ghosh, Lihong He, Yuxuan Lu, Shashank Srivastava, Yunyao Li, James Hendler, Dakuo Wang
• Abstract要約: 現実世界のドメインの専門家(医師など)は、説明なしに日々のワークフローで意思決定ラベルに注釈を付けることは滅多にない。 本研究は,アノテーションのラベル付けと説明の現実的ニーズを支援するための,新しいアクティブラーニングアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 43.85335847262138
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Real-world domain experts (e.g., doctors) rarely annotate only a decision label in their day-to-day workflow without providing explanations. Yet, existing low-resource learning techniques, such as Active Learning (AL), that aim to support human annotators mostly focus on the label while neglecting the natural language explanation of a data point. This work proposes a novel AL architecture to support experts' real-world need for label and explanation annotations in low-resource scenarios. Our AL architecture leverages an explanation-generation model to produce explanations guided by human explanations, a prediction model that utilizes generated explanations toward prediction faithfully, and a novel data diversity-based AL sampling strategy that benefits from the explanation annotations. Automated and human evaluations demonstrate the effectiveness of incorporating explanations into AL sampling and the improved human annotation efficiency and trustworthiness with our AL architecture. Additional ablation studies illustrate the potential of our AL architecture for transfer learning, generalizability, and integration with large language models (LLMs). While LLMs exhibit exceptional explanation-generation capabilities for relatively simple tasks, their effectiveness in complex real-world tasks warrants further in-depth study.
• Abstract（参考訳）: 現実世界のドメインの専門家(医師など)は、説明なしに日々のワークフローで意思決定ラベルに注釈を付けることは滅多にない。 しかし、人間のアノテータを支援することを目的とした、アクティブラーニング(AL)のような既存の低リソースの学習技術は、データポイントの自然言語の説明を無視しながら、ラベルに集中している。 本研究は,低リソースシナリオにおけるアノテーションのラベル付けと説明の現実的ニーズを支援する新しいALアーキテクチャを提案する。 私たちのalアーキテクチャは、説明生成モデルを利用して、人間の説明によって導かれる説明、生成された説明を忠実に予測するための予測モデル、説明アノテーションから恩恵を受ける新しいデータ多様性に基づくalサンプリング戦略を生成する。 自動および人的評価は、ALサンプリングに説明を組み込むことの有効性を示し、ALアーキテクチャによる人間のアノテーション効率と信頼性を改善した。 追加のアブレーション研究は、転送学習、一般化可能性、大規模言語モデル(llm)との統合におけるalアーキテクチャの可能性を示しています。 LLMは比較的単純なタスクに対して例外的な説明生成能力を示すが、複雑な実世界のタスクにおけるそれらの有効性は、より詳細な研究を保証している。

関連論文リスト

• Evolving Knowledge Distillation with Large Language Models and Active Learning [46.85430680828938]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。 従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。 EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
  論文  参考訳（メタデータ） (2024-03-11T03:55:24Z)
• Large Language Models for Scientific Information Extraction: An Empirical Study for Virology [0.0]
  談話に基づく学術コミュニケーションにおける構造的・意味的内容表現の利用を擁護する。 ウィキペディアのインフォボックスや構造化されたAmazon製品記述といったツールにヒントを得て、構造化された学術貢献要約を生成するための自動アプローチを開発しました。 以上の結果から,FLAN-T5のパラメータは現状のGPT-davinciよりも1000倍少ないことが示唆された。
  論文  参考訳（メタデータ） (2024-01-18T15:04:55Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。