論文の概要: Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models

• arxiv url: http://arxiv.org/abs/2402.09236v1
• Date: Wed, 14 Feb 2024 15:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 14:54:29.327070
• Title: Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models
• Title（参考訳）: 解釈可能な概念の学習:因果表現学習と基礎モデルの統合
• Authors: Goutham Rajendran, Simon Buchholz, Bryon Aragam, Bernhard Sch\"olkopf, Pradeep Ravikumar
• Abstract要約: 人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
• 参考スコア（独自算出の注目度）: 51.43538150982291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To build intelligent machine learning systems, there are two broad approaches. One approach is to build inherently interpretable models, as endeavored by the growing field of causal representation learning. The other approach is to build highly-performant foundation models and then invest efforts into understanding how they work. In this work, we relate these two approaches and study how to learn human-interpretable concepts from data. Weaving together ideas from both fields, we formally define a notion of concepts and show that they can be provably recovered from diverse data. Experiments on synthetic data and large language models show the utility of our unified approach.
• Abstract（参考訳）: インテリジェントな機械学習システムを構築するには、2つのアプローチがある。 1つのアプローチは、因果表現学習の分野に根ざした、本質的に解釈可能なモデルを構築することである。 もう1つのアプローチは、高度にパーフォーマントな基礎モデルを構築し、それらの動作を理解することに努力することです。 本研究では,この2つのアプローチを関連付け,データから人間に解釈可能な概念を学ぶ方法について検討する。 両分野からアイデアをまとめ、概念の概念を正式に定義し、多種多様なデータから確実に回収できることを示します。 合成データと大規模言語モデルの実験は、我々の統一的アプローチの有用性を示している。

関連論文リスト

• Big Cooperative Learning [7.958840888809145]
  基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。 本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
  論文  参考訳（メタデータ） (2024-07-31T03:59:14Z)
• CoLiDR: Concept Learning using Aggregated Disentangled Representations [29.932706137805713]
  概念に基づくモデルを用いたディープニューラルネットワークの解釈可能性は、人間の理解可能な概念を通じてモデルの振る舞いを説明する有望な方法を提供する。 並列的な研究は、データ分散をその基盤となる生成因子に切り離し、データ生成プロセスを説明することに重点を置いている。 どちらの方向も広く注目されているが、数学的に不整合な表現と人間の理解可能な概念を統一するための生成的要因の観点から概念を説明する研究はほとんど行われていない。
  論文  参考訳（メタデータ） (2024-07-27T16:55:14Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition [83.13280812128411]
  近年の研究では、グラッキング、二重降下、大規模言語モデルにおける創発的能力など、ディープラーニングにおける興味深い現象が明らかにされている。 本稿では,記憶回路と一般化回路の競合に着目し,これら3つの現象の統一的な見方を提供する包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:14:36Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Provably Learning Object-Centric Representations [25.152680199034215]
  我々は、オブジェクト中心の表現がいつ、監督なしに確実に学習できるかを分析する。 そこで本研究では, 基本構造オブジェクト表現が可逆的, 構成的推論モデルによって識別可能であることを証明した。 我々は、既存の対象中心モデルに対して、我々の理論が予測力を持つ証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-23T16:44:49Z)
• Inspecting the concept knowledge graph encoded by modern language models [5.2117321443066364]
  我々は過去9つの最も影響力のある言語モデルによって符号化された基礎知識について研究する。 我々の結果は、全てのモデルがこの知識を符号化しているが、いくつかの不正確さに悩まされていることを示している。 我々は、ある概念がなぜ難しいのかを説明する特定の要因を発見するために、体系的な評価を行う。
  論文  参考訳（メタデータ） (2021-05-27T22:19:19Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。