論文の概要: Goal Driven Discovery of Distributional Differences via Language
Descriptions
- arxiv url: http://arxiv.org/abs/2302.14233v2
- Date: Wed, 25 Oct 2023 00:43:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 23:13:43.273955
- Title: Goal Driven Discovery of Distributional Differences via Language
Descriptions
- Title(参考訳): ゴール駆動による言語記述による分布差の発見
- Authors: Ruiqi Zhong, Peter Zhang, Steve Li, Jinwoo Ahn, Dan Klein, Jacob
Steinhardt
- Abstract要約: 大きなコーパスを採掘することは有用な発見をもたらすが、人間には時間がかかる。
我々は、ゴール駆動方式で2つの大きなコーパス間の差異を自動的に発見する新しいタスクD5を定式化する。
本稿では,OpenD5 の幅広い応用について,これまで不明な発見を著者に提示する。
- 参考スコア(独自算出の注目度): 58.764821647036946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mining large corpora can generate useful discoveries but is time-consuming
for humans. We formulate a new task, D5, that automatically discovers
differences between two large corpora in a goal-driven way. The task input is a
problem comprising a research goal "$\textit{comparing the side effects of drug
A and drug B}$" and a corpus pair (two large collections of patients'
self-reported reactions after taking each drug). The output is a language
description (discovery) of how these corpora differ (patients taking drug A
"$\textit{mention feelings of paranoia}$" more often). We build a D5 system,
and to quantitatively measure its performance, we 1) contribute a meta-dataset,
OpenD5, aggregating 675 open-ended problems ranging across business, social
sciences, humanities, machine learning, and health, and 2) propose a set of
unified evaluation metrics: validity, relevance, novelty, and significance.
With the dataset and the unified metrics, we confirm that language models can
use the goals to propose more relevant, novel, and significant candidate
discoveries. Finally, our system produces discoveries previously unknown to the
authors on a wide range of applications in OpenD5, including temporal and
demographic differences in discussion topics, political stances and stereotypes
in speech, insights in commercial reviews, and error patterns in NLP models.
- Abstract(参考訳): 大きなコーパスを採掘することは有用な発見を生み出すが、人間には時間がかかる。
我々は、ゴール駆動方式で2つの大きなコーパス間の差異を自動的に発見する新しいタスクD5を定式化する。
タスク入力は、研究目標「$\textit{comparing the side effects of drug a and drug b}$」とコーパスペア(各薬を服用した後の患者の自己報告反応の2つの大規模なコレクション)からなる問題である。出力は、これらのコーパスがどのように異なるかの言語記述(発見)である(患者は「$\textit{mention feelings of paranoia}$」を服用することが多い)。
私たちはD5システムを構築し、その性能を定量的に測定します。
1) メタデータセット OpenD5 に貢献し、ビジネス、社会科学、人文科学、機械学習、健康など幅広い675の公開課題を集約する。
2) 妥当性,妥当性,新規性,重要度などの統一評価指標を提案する。
データセットと統一メトリクスによって、言語モデルがその目標を使って、より関連性があり、新しく、重要な候補の発見を提案できることを確認します。
最後に,議論トピックの時間的・人口的差異や政治的スタンス,言論のステレオタイプ,商業レビューの洞察,NLPモデルのエラーパターンなど,OpenD5の幅広い応用について著者がこれまで知らなかった発見を生成する。
関連論文リスト
- SADAS: A Dialogue Assistant System Towards Remediating Norm Violations
in Bilingual Socio-Cultural Conversations [56.31816995795216]
SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。
本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
論文 参考訳(メタデータ) (2024-01-29T08:54:21Z) - SalesBot 2.0: A Human-Like Intent-Guided Chit-Chat Dataset [28.257630375747606]
本稿では,大規模言語モデル(LLM)の共通知識を適切なプロンプトによって活用することにより,公開データの改訂版であるSalesBot 2.0を構築することを目的とする。
詳細なアノテーションを備えた新たにリリースされた大規模なデータセットは、トピック間のスムーズな移行を示し、自然性や一貫性の観点からは人間らしくなっている。
論文 参考訳(メタデータ) (2023-08-28T02:48:49Z) - Large Language Models are Fixated by Red Herrings: Exploring Creative
Problem Solving and Einstellung Effect using the Only Connect Wall Dataset [4.789429120223149]
人間の模倣AIの探求は、その誕生以来、AI研究において永続的な話題となっている。
人間の創造的問題解決は認知神経科学においてよく研究されているトピックである。
Connect Wallのセグメントだけが、基本的にはメドニックのRemote Associates Test (RAT)の定式化を、ビルトインで故意に赤いハーリングで模倣している。
論文 参考訳(メタデータ) (2023-06-19T21:14:57Z) - DERA: Enhancing Large Language Model Completions with Dialog-Enabled
Resolving Agents [5.562984399879218]
大規模言語モデル(LLM)は多くの自然言語理解タスクに有用なツールとして登場した。
本稿では,対話型解決エージェント(DERA)について述べる。
DERAは、LPMの会話能力の増加、すなわちGPT-4によって実現されたパラダイムである。
モデルがフィードバックを伝達し、反復的に出力を改善するための、シンプルで解釈可能なフォーラムを提供する。
論文 参考訳(メタデータ) (2023-03-30T00:30:19Z) - A Linguistic Investigation of Machine Learning based Contradiction
Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。
目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
論文 参考訳(メタデータ) (2022-10-19T10:06:03Z) - RuMedBench: A Russian Medical Language Understanding Benchmark [58.99199480170909]
本稿では,複数のタスクタイプをカバーするオープンなロシア語医療言語理解ベンチマークについて述べる。
我々は、新しいタスクのための統一されたフォーマットラベリング、データ分割、評価メトリクスを作成します。
シングルナンバーメトリックは、ベンチマークに対処するモデルの能力を表す。
論文 参考訳(メタデータ) (2022-01-17T16:23:33Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z) - The Paradigm Discovery Problem [121.79963594279893]
我々は、パラダイム発見問題を定式化し、システム判定のためのメトリクスを開発する。
5つの多言語に対する経験的結果について報告する。
私たちのコードとデータは公開されています。
論文 参考訳(メタデータ) (2020-05-04T16:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。