論文の概要: CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations

• arxiv url: http://arxiv.org/abs/2204.07142v1
• Date: Thu, 14 Apr 2022 17:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 12:26:32.379825
• Title: CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations
• Title（参考訳）: CLUES:自然言語説明を用いた分類器学習ベンチマーク
• Authors: Rakesh R Menon, Sayan Ghosh, Shashank Srivastava
• Abstract要約: 教師付き学習は伝統的に、タスクのラベル付き例を観察して帰納的学習に焦点を合わせてきた。 対照的に、人間は言語から新しい概念を学ぶ能力を持っている。 自然言語のExplainationSを用いた学習のためのベンチマークであるCLUESを紹介する。 CLUESは36の現実世界と144の合成分類タスクで構成されている。
• 参考スコア（独自算出の注目度）: 12.278877764015725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning has traditionally focused on inductive learning by observing labeled examples of a task. In contrast, humans have the ability to learn new concepts from language. Here, we explore training zero-shot classifiers for structured data purely from language. For this, we introduce CLUES, a benchmark for Classifier Learning Using natural language ExplanationS, consisting of a range of classification tasks over structured data along with natural language supervision in the form of explanations. CLUES consists of 36 real-world and 144 synthetic classification tasks. It contains crowdsourced explanations describing real-world tasks from multiple teachers and programmatically generated explanations for the synthetic tasks. To model the influence of explanations in classifying an example, we develop ExEnt, an entailment-based model that learns classifiers using explanations. ExEnt generalizes up to 18% better (relative) on novel tasks than a baseline that does not use explanations. We delineate key challenges for automated learning from explanations, addressing which can lead to progress on CLUES in the future. Code and datasets are available at: https://clues-benchmark.github.io.
• Abstract（参考訳）: 教師付き学習は伝統的に、タスクのラベル付き例を観察して帰納学習に焦点を当ててきた。 対照的に、人間は言語から新しい概念を学ぶ能力を持っている。 ここでは、純粋に言語から構造化されたデータに対するゼロショット分類器の訓練について検討する。 そこで本研究では,構造化データ上での分類タスクと自然言語指導を併用した,自然言語説明を用いた分類学習のためのベンチマークであるcucumbersを提案する。 手がかりは36の現実世界と144の合成分類からなる。 これには、複数の教師による現実世界のタスクを記述するクラウドソースの説明と、合成タスクのプログラムで生成された説明が含まれている。 例の分類における説明の影響をモデル化するために,説明を用いて分類子を学習する補足型モデルexentを開発した。 exentは、説明を使用しないベースラインよりも、新しいタスクで最大18%良い(相対)ことを一般化する。 我々は、将来CLUESの進歩につながる可能性のある説明から、自動学習の重要な課題を述べます。 コードとデータセットは、https://clues-benchmark.github.io.comで入手できる。

関連論文リスト

• Leveraging Multiple Teachers for Test-Time Adaptation of Language-Guided Classifiers [21.55294900536358]
  本稿では,複数の教師からの説明や未ラベルのテスト例を提供する際に,言語指導型分類器を推論中に新しいタスクに適応させるフレームワークTALCを紹介する。 以上の結果から,TALCは従来よりも9.3%(相対的な改善)で競争ベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-13T18:28:25Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
  モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。 MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。 シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T12:58:06Z)
• CodeKGC: Code Language Model for Generative Knowledge Graph Construction [46.220237225553234]
  コードのような構造化データに基づいて訓練された大規模な生成言語モデルは、構造予測や推論タスクのために自然言語を理解する素晴らしい能力を示してきた。 知識グラフ内の意味構造を効果的に活用するスキーマ対応プロンプトを開発した。 実験結果から,提案手法はベースラインと比較してベンチマークデータセットの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-04-18T15:12:34Z)
• Python Code Generation by Asking Clarification Questions [57.63906360576212]
  本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。 我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。 我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:08:36Z)
• Zero-Shot Classification by Logical Reasoning on Natural Language Explanations [56.42922904777717]
  我々はCLOREフレームワークを提案する(説明の論理的推論による分類)。 CLOREは、説明を論理構造にパースし、入力のthess構造に沿って明示的に理由付け、分類スコアを生成する。 また、我々のフレームワークは視覚的モダリティのゼロショット分類にまで拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-07T01:05:11Z)
• Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
  本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-04T18:32:14Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• Teaching Machine Comprehension with Compositional Explanations [32.82449839424392]
  我々は,ごく少数の半構造化された説明を用いて,理解を読み取る「教える」機械に焦点をあてる。 学習可能なニューラルモジュールとソフトロジックを使用して言語的変化を処理し、スパースカバレッジを克服します。 SQuADデータセットでは,26の説明から70.14%のF1スコアが得られた。
  論文  参考訳（メタデータ） (2020-05-02T11:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。