論文の概要: Expedition: A System for the Unsupervised Learning of a Hierarchy of Concepts

• arxiv url: http://arxiv.org/abs/2112.09348v1
• Date: Fri, 17 Dec 2021 06:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 23:48:35.129001
• Title: Expedition: A System for the Unsupervised Learning of a Hierarchy of Concepts
• Title（参考訳）: 探索:概念階層の教師なし学習システム
• Authors: Omid Madani
• Abstract要約: 本稿では,意味のある文字列に対応する無数の概念のボトムアップ累積学習システムを提案する。 学習は、発見される概念が予測対象だけでなく予測対象として使用されるという点で自己監督される。 ベースライン予測システムとの比較から,学習概念とセグメンテーションする目的を考案する。
• 参考スコア（独自算出の注目度）: 0.522145960878624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a system for bottom-up cumulative learning of myriad concepts corresponding to meaningful character strings, and their part-related and prediction edges. The learning is self-supervised in that the concepts discovered are used as predictors as well as targets of prediction. We devise an objective for segmenting with the learned concepts, derived from comparing to a baseline prediction system, that promotes making and using larger concepts, which in turn allows for predicting larger spans of text, and we describe a simple technique to promote exploration, i.e. trying out newly generated concepts in the segmentation process. We motivate and explain a layering of the concepts, to help separate the (conditional) distributions learnt among concepts. The layering of the concepts roughly corresponds to a part-whole concept hierarchy. With rudimentary segmentation and learning algorithms, the system is promising in that it acquires many concepts (tens of thousands in our small-scale experiments), and it learns to segment text well: when fed with English text with spaces removed, starting at the character level, much of what is learned respects word or phrase boundaries, and over time the average number of "bad" splits within segmentations, i.e. splits inside words, decreases as larger concepts are discovered and the system learns when to use them during segmentation. We report on promising experiments when the input text is converted to binary and the system begins with only two concepts, "0" and "1". The system is transparent, in the sense that it is easy to tell what the concepts learned correspond to, and which ones are active in a segmentation, or how the system "sees" its input. We expect this framework to be extensible and we discuss the current limitations and a number of directions for enhancing the learning and inference capabilities.
• Abstract（参考訳）: 本稿では,意味のある文字列に対応する無数の概念とその部分関連および予測エッジのボトムアップ累積学習システムを提案する。 学習は、発見される概念が予測対象だけでなく予測対象として使用されるという点で自己監督される。 本研究では,より広い範囲のテキストを予測可能な,より大規模な概念の作成と利用を促進するベースライン予測システムと比較した学習概念のセグメンテーションを考案し,セグメンテーションプロセスにおいて新たに生成された概念を試すという,探索を促進するための簡単なテクニックについて述べる。 概念の階層化を動機付け、説明し、(条件付き)分散が概念間で学習されるように支援します。 概念の階層化は、概して部分的な概念階層に対応する。 With rudimentary segmentation and learning algorithms, the system is promising in that it acquires many concepts (tens of thousands in our small-scale experiments), and it learns to segment text well: when fed with English text with spaces removed, starting at the character level, much of what is learned respects word or phrase boundaries, and over time the average number of "bad" splits within segmentations, i.e. splits inside words, decreases as larger concepts are discovered and the system learns when to use them during segmentation. 入力テキストがバイナリに変換され、システムが"0"と"1"の2つの概念で始まる場合の有望な実験について報告する。 システムは透明であり、学習した概念が何に対応するのか、どの概念がセグメンテーションでアクティブであるか、あるいはシステムがどのように入力を「見る」かを知ることは容易である。 我々はこのフレームワークが拡張可能であることを期待し、学習能力と推論能力を高めるための現在の制限と様々な方向性について議論する。

関連論文リスト

• Explaining Explainability: Understanding Concept Activation Vectors [35.37586279472797]
  最近の解釈可能性法では、概念に基づく説明を用いて、ディープラーニングモデルの内部表現を、人間が慣れ親しんだ言語に翻訳する。 これは、ニューラルネットワークの表現空間にどの概念が存在するかを理解する必要がある。 本研究では,概念活性化ベクトル(Concept Activation Vectors, CAV)の3つの特性について検討する。 本研究では,これらの特性の存在を検出するためのツールを導入し,それらが引き起こした説明にどのように影響するかを把握し,その影響を最小限に抑えるための推奨事項を提供する。
  論文  参考訳（メタデータ） (2024-04-04T17:46:20Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Towards Open Vocabulary Learning: A Survey [146.90188069113213]
  ディープニューラルネットワークは,セグメンテーションやトラッキング,検出といった,さまざまなコアタスクにおいて,目覚ましい進歩を遂げている。 近年、視覚言語事前学習の急速な進歩により、オープンな語彙設定が提案されている。 本稿では,その分野における最近の発展を要約し分析し,オープンな語彙学習の徹底的なレビューを行う。
  論文  参考訳（メタデータ） (2023-06-28T02:33:06Z)
• Efficient Induction of Language Models Via Probabilistic Concept Formation [13.632454840363916]
  コーパスから言語モデルを取得するための新しいアプローチを提案する。 このフレームワークは、確率論的概念の分類学的階層を構築するための初期のシステムであるCobweb上に構築されている。 Cobwebの3つの新しい拡張(Word、Leaf、Pathの亜種)について調べる。
  論文  参考訳（メタデータ） (2022-12-22T18:16:58Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• SegDiscover: Visual Concept Discovery via Unsupervised Semantic Segmentation [29.809900593362844]
  SegDiscoverは、監視なしで複雑なシーンを持つデータセットから意味論的に意味のある視覚概念を発見する新しいフレームワークである。 提案手法は, 生画像から概念プリミティブを生成し, 自己教師付き事前学習エンコーダの潜在空間をクラスタリングし, ニューラルネットワークのスムーズ化により概念の洗練を図る。
  論文  参考訳（メタデータ） (2022-04-22T20:44:42Z)
• Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization [0.76146285961466]
  概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。 現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。 本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T22:29:48Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Computational linguistic assessment of textbook and online learning media by means of threshold concepts in business education [59.003956312175795]
  言語学的観点では、しきい値の概念は特別な語彙の例であり、特定の言語的特徴を示す。 ビジネス教育における63のしきい値の概念のプロファイルは、教科書、新聞、ウィキペディアで調査されている。 3種類のリソースは、しきい値の概念のプロファイルから区別できる。
  論文  参考訳（メタデータ） (2020-08-05T12:56:16Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。