論文の概要: Goal Driven Discovery of Distributional Differences via Language
Descriptions
- arxiv url: http://arxiv.org/abs/2302.14233v1
- Date: Tue, 28 Feb 2023 01:32:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 18:34:17.069141
- Title: Goal Driven Discovery of Distributional Differences via Language
Descriptions
- Title（参考訳）: ゴール駆動による言語記述による分布差の発見
- Authors: Ruiqi Zhong, Peter Zhang, Steve Li, Jinwoo Ahn, Dan Klein, Jacob
Steinhardt
- Abstract要約: 大きなコーパスを採掘することは有用な発見をもたらすが、人間には時間がかかる。
我々は、ゴール駆動方式で2つの大きなコーパス間の差異を自動的に発見する新しいタスクD5を定式化する。
本稿では,OpenD5 の幅広い応用について,これまで不明な発見を著者に提示する。
- 参考スコア（独自算出の注目度）: 39.91702207596141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mining large corpora can generate useful discoveries but is time-consuming
for humans. We formulate a new task, D5, that automatically discovers
differences between two large corpora in a goal-driven way. The task input is a
problem comprising a research goal "$\textit{comparing the side effects of drug
A and drug B}$" and a corpus pair (two large collections of patients'
self-reported reactions after taking each drug). The output is a language
description (discovery) of how these corpora differ (patients taking drug A
"$\textit{mention feelings of paranoia}$" more often). We build a D5 system,
and to quantitatively measure its performance, we 1) contribute a meta-dataset,
OpenD5, aggregating 675 open-ended problems ranging across business, social
sciences, humanities, machine learning, and health, and 2) propose a set of
unified evaluation metrics: validity, relevance, novelty, and significance.
With the dataset and the unified metrics, we confirm that language models can
use the goals to propose more relevant, novel, and significant candidate
discoveries. Finally, our system produces discoveries previously unknown to the
authors on a wide range of applications in OpenD5, including temporal and
demographic differences in discussion topics, political stances and stereotypes
in speech, insights in commercial reviews, and error patterns in NLP models.
- Abstract（参考訳）: 大きなコーパスを採掘することは有用な発見を生み出すが、人間には時間がかかる。
我々は、ゴール駆動方式で2つの大きなコーパス間の差異を自動的に発見する新しいタスクD5を定式化する。
タスク入力は、研究目標「$\textit{comparing the side effects of drug a and drug b}$」とコーパスペア(各薬を服用した後の患者の自己報告反応の2つの大規模なコレクション)からなる問題である。出力は、これらのコーパスがどのように異なるかの言語記述(発見)である(患者は「$\textit{mention feelings of paranoia}$」を服用することが多い)。
私たちはD5システムを構築し、その性能を定量的に測定します。
1) メタデータセット OpenD5 に貢献し、ビジネス、社会科学、人文科学、機械学習、健康など幅広い675の公開課題を集約する。
2) 妥当性,妥当性,新規性,重要度などの統一評価指標を提案する。
データセットと統一メトリクスによって、言語モデルがその目標を使って、より関連性があり、新しく、重要な候補の発見を提案できることを確認します。
最後に,議論トピックの時間的・人口的差異や政治的スタンス,言論のステレオタイプ,商業レビューの洞察,NLPモデルのエラーパターンなど,OpenD5の幅広い応用について著者がこれまで知らなかった発見を生成する。
関連論文リスト
- Adaptive Question Answering: Enhancing Language Model Proficiency for Addressing Knowledge Conflicts with Source Citations [3.3018718917393297]
本稿では,複数の有効な回答が存在するあいまいな環境下で,ソースを引用した質問応答のタスクを提案する。
1)新しい5つのデータセット,(2)実世界の自然発生コンテキストを特徴とする最初のあいまいなマルチホップQAデータセット,(3)モデルの性能を評価するための2つの新しい指標からなる包括的フレームワークを構築した。
この新しいタスク、データセット、メトリクス、ベースラインは、コミュニティにQA研究の境界を押し進め、より信頼できる、解釈可能なシステムを開発するよう促すことを期待しています。
論文 参考訳（メタデータ） (2024-10-05T17:37:01Z) - Exploring the Potential of Large Foundation Models for Open-Vocabulary HOI Detection [9.788417605537965]
条件付き多レベルデコードと細粒度セマンティックエンハンスメントを備えた新しいエンドツーエンドオープン語彙HOI検出フレームワークを提案する。
提案手法は,開語彙HOI検出の最先端化を実現する。
論文 参考訳（メタデータ） (2024-04-09T10:27:22Z) - SADAS: A Dialogue Assistant System Towards Remediating Norm Violations
in Bilingual Socio-Cultural Conversations [56.31816995795216]
SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。
本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
論文 参考訳（メタデータ） (2024-01-29T08:54:21Z) - Large Language Models are Fixated by Red Herrings: Exploring Creative
Problem Solving and Einstellung Effect using the Only Connect Wall Dataset [4.789429120223149]
人間の模倣AIの探求は、その誕生以来、AI研究において永続的な話題となっている。
人間の創造的問題解決は認知神経科学においてよく研究されているトピックである。
Connect Wallのセグメントだけが、基本的にはメドニックのRemote Associates Test (RAT)の定式化を、ビルトインで故意に赤いハーリングで模倣している。
論文 参考訳（メタデータ） (2023-06-19T21:14:57Z) - DERA: Enhancing Large Language Model Completions with Dialog-Enabled
Resolving Agents [5.562984399879218]
大規模言語モデル(LLM)は多くの自然言語理解タスクに有用なツールとして登場した。
本稿では,対話型解決エージェント(DERA)について述べる。
DERAは、LPMの会話能力の増加、すなわちGPT-4によって実現されたパラダイムである。
モデルがフィードバックを伝達し、反復的に出力を改善するための、シンプルで解釈可能なフォーラムを提供する。
論文 参考訳（メタデータ） (2023-03-30T00:30:19Z) - RuMedBench: A Russian Medical Language Understanding Benchmark [58.99199480170909]
本稿では,複数のタスクタイプをカバーするオープンなロシア語医療言語理解ベンチマークについて述べる。
我々は、新しいタスクのための統一されたフォーマットラベリング、データ分割、評価メトリクスを作成します。
シングルナンバーメトリックは、ベンチマークに対処するモデルの能力を表す。
論文 参考訳（メタデータ） (2022-01-17T16:23:33Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳（メタデータ） (2021-09-24T03:49:38Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - The Paradigm Discovery Problem [121.79963594279893]
我々は、パラダイム発見問題を定式化し、システム判定のためのメトリクスを開発する。
5つの多言語に対する経験的結果について報告する。
私たちのコードとデータは公開されています。
論文 参考訳（メタデータ） (2020-05-04T16:38:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。