論文の概要: Summarizing Differences between Text Distributions with Natural Language
- arxiv url: http://arxiv.org/abs/2201.12323v1
- Date: Fri, 28 Jan 2022 18:38:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-31 14:28:41.465856
- Title: Summarizing Differences between Text Distributions with Natural Language
- Title（参考訳）: 自然言語によるテキスト分布の違いの要約
- Authors: Ruiqi Zhong, Charlie Snell, Dan Klein, Jacob Steinhardt
- Abstract要約: 我々は,「自然言語仮説の学習」によって違いを自動的に要約することを提案する。
D_0$] + [samples of $D_1$] + その差は ____" である。
- 参考スコア（独自算出の注目度）: 46.127601942429855
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How do two distributions of texts differ? Humans are slow at answering this,
since discovering patterns might require tediously reading through hundreds of
samples. We propose to automatically summarize the differences by "learning a
natural language hypothesis": given two distributions $D_{0}$ and $D_{1}$, we
search for a description that is more often true for $D_{1}$, e.g., "is
military-related." To tackle this problem, we fine-tune GPT-3 to propose
descriptions with the prompt: "[samples of $D_{0}$] + [samples of $D_{1}$] +
the difference between them is _____". We then re-rank the descriptions by
checking how often they hold on a larger set of samples with a learned
verifier. On a benchmark of 54 real-world binary classification tasks, while
GPT-3 Curie (13B) only generates a description similar to human annotation 7%
of the time, the performance reaches 61% with fine-tuning and re-ranking, and
our best system using GPT-3 Davinci (175B) reaches 76%. We apply our system to
describe distribution shifts, debug dataset shortcuts, summarize unknown tasks,
and label text clusters, and present analyses based on automatically generated
descriptions.
- Abstract（参考訳）: 2つのテキストの分布はどのように異なるのか?
パターンの発見には、何百ものサンプルを退屈に読み込む必要があるからだ。
2つの分布 $d_{0}$ と $d_{1}$ が与えられたとき、我々はより頻繁に$d_{1}$、例えば "is military-related" で真となる記述を探す。
この問題に対処するために、gpt-3を微調整して、プロンプトで記述する: "[samples of $d_{0}$] + [samples of $d_{1}$] + それらの間の差は ______ である。
次に、学習した検証器でより大きなサンプルのセットを保持する頻度をチェックすることで、記述を再評価します。
一方, GPT-3 Curie (13B) は人間のアノテーションに類似した記述しか生成しないのに対して, GPT-3 Curie (13B) は微調整と再ランクで61%, GPT-3 Davinci (175B) を用いたベストシステムは76%であった。
本稿では,分散シフトの記述,データセットのショートカットのデバッグ,未知タスクの要約,テキストクラスタのラベル付け,自動生成した記述に基づく分析を行う。
関連論文リスト
- Adaptive and oblivious statistical adversaries are equivalent [18.385321286452747]
あらゆる種類の汚職に対して, サンプル適応的, サンプル公開的敵は, サンプルサイズに匹敵する因子に富んでいることを示す。
対応するサンプル適応逆数が入力を破損した場合に同じ課題を解くアルゴリズムが$A'$であることを示す。
論文 参考訳（メタデータ） (2024-10-17T13:42:56Z) - GIST: Greedy Independent Set Thresholding for Diverse Data Summarization [21.69260104523751]
我々は、min-distance various data summarization(textsfMDDS$)と呼ばれる新しいサブセット選択タスクを提案する。
目的は、各点のトータルユーティリティと、選択された任意の点間の最小距離をキャプチャする多様性項を組み合わせた目的を最大化することである。
この作業は、$textttGIST$アルゴリズムを示し、$textsfMDDS$の$frac23$-approximation保証を達成する。
論文 参考訳（メタデータ） (2024-05-29T04:39:24Z) - Robust Distortion-free Watermarks for Language Models [85.55407177530746]
本稿では,自動回帰言語モデルからテキストに透かしを植え付ける手法を提案する。
言語モデルから乱数列をサンプルにマッピングすることで、透かし付きテキストを生成する。
論文 参考訳（メタデータ） (2023-07-28T14:52:08Z) - USB: A Unified Summarization Benchmark Across Tasks and Domains [68.82726887802856]
ウィキペディア由来のベンチマークを導入し、クラウドソースアノテーションの豊富なセットを補完し、8ドルの相互関連タスクをサポートする。
このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
論文 参考訳（メタデータ） (2023-05-23T17:39:54Z) - Are Hard Examples also Harder to Explain? A Study with Human and
Model-Generated Explanations [82.12092864529605]
説明可能性とサンプル硬度の関係について検討する。
我々は人による説明と GPT-3 による説明との比較を行った。
また、文脈内例の難易度が GPT-3 の説明の質に影響を及ぼすことも判明した。
論文 参考訳（メタデータ） (2022-11-14T16:46:14Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳（メタデータ） (2022-09-30T17:33:00Z) - Reframing Human-AI Collaboration for Generating Free-Text Explanations [46.29832336779188]
少数の人間が記述した例を用いて,自由テキストの説明を生成する作業について考察する。
クラウドソースによる説明よりも,GPT-3による説明の方が好まれる。
我々は、GPT-3と教師付きフィルタを組み合わせたパイプラインを作成し、二項受理性判定を介し、ループ内人間を組み込む。
論文 参考訳（メタデータ） (2021-12-16T07:31:37Z) - How to Query An Oracle? Efficient Strategies to Label Data [59.89900843097016]
機械学習におけるデータセットのラベル付けに専門家の託宣を照会する際の基本的な問題について考察する。
本稿では,サンプルをラベル付けするために,ラウンド・バイ・ラウンドでランダム化されたバッチアルゴリズムを提案し,クエリレートが$O(fracNk2)$であることを示す。
さらに,適応型グリージークエリ方式を提案し,三重項クエリを用いたサンプルあたり平均$approx 0.2N$クエリを実現する。
論文 参考訳（メタデータ） (2021-10-05T20:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。