論文の概要: Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space

• arxiv url: http://arxiv.org/abs/2406.19370v2
• Date: Mon, 04 Nov 2024 18:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:49.008467
• Title: Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space
• Title（参考訳）: 隠れ能力の創発 : 概念空間における学習ダイナミクスの探求
• Authors: Core Francisco Park, Maya Okawa, Andrew Lee, Ekdeep Singh Lubana, Hidenori Tanaka,
• Abstract要約: 我々は、概念空間と呼ばれるフレームワークを介してモデルの学習力学を分析します。 概念空間におけるモデルの学習力学の方向を,突然回転する瞬間を観察する。 驚くべきことに、これらの点は隠蔽能力の出現と正確に一致している。
• 参考スコア（独自算出の注目度）: 14.188708813577456
• License:
• Abstract: Modern generative models demonstrate impressive capabilities, likely stemming from an ability to identify and manipulate abstract concepts underlying their training data. However, fundamental questions remain: what determines the concepts a model learns, the order in which it learns them, and its ability to manipulate those concepts? To address these questions, we propose analyzing a model's learning dynamics via a framework we call the concept space, where each axis represents an independent concept underlying the data generating process. By characterizing learning dynamics in this space, we identify how the speed at which a concept is learned, and hence the order of concept learning, is controlled by properties of the data we term concept signal. Further, we observe moments of sudden turns in the direction of a model's learning dynamics in concept space. Surprisingly, these points precisely correspond to the emergence of hidden capabilities, i.e., where latent interventions show the model possesses the capability to manipulate a concept, but these capabilities cannot yet be elicited via naive input prompting. While our results focus on synthetically defined toy datasets, we hypothesize a general claim on emergence of hidden capabilities may hold: generative models possess latent capabilities that emerge suddenly and consistently during training, though a model might not exhibit these capabilities under naive input prompting.
• Abstract（参考訳）: 現代の生成モデルは、おそらくトレーニングデータの基礎となる抽象概念を識別し、操作する能力から生まれた、印象的な能力を示している。 しかし、基本的な疑問は残る:モデルが学習する概念、モデルが学習する順序、そしてそれらの概念を操作できる能力を決定するものは何か? これらの問題に対処するために、我々は、各軸がデータ生成プロセスの基盤となる独立した概念を表す概念空間と呼ばれるフレームワークを通して、モデルの学習力学を分析することを提案する。 この空間で学習力学を特徴付けることにより、概念が学習される速度、すなわち概念学習の順序が、概念信号と呼ぶデータの特性によって制御されるかを特定する。 さらに,概念空間におけるモデルの学習力学の方向を,突然回転する瞬間を観察する。 驚くべきことに、これらのポイントは隠された能力の出現、すなわち、潜在的介入がモデルが概念を操作する能力を持っていることを示すものであるが、これらの能力はまだナイーブな入力プロンプトによって引き起こされない。 人工的に定義されたおもちゃのデータセットに焦点が当てられているが、私たちは隠れた能力の出現に関する一般的な主張を仮説を立てている。

関連論文リスト

• SOLD: Reinforcement Learning with Slot Object-Centric Latent Dynamics [16.020835290802548]
  Slot-Attention for Object-centric Latent Dynamicsは、画素入力からオブジェクト中心の動的モデルを学ぶ新しいアルゴリズムである。 構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。 以上の結果から,SOLDは,最先端のモデルベースRLアルゴリズムであるDreamerV3よりも,さまざまなベンチマークロボット環境において優れていた。
  論文  参考訳（メタデータ） (2024-10-11T14:03:31Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Advancing Ante-Hoc Explainable Models through Generative Adversarial Networks [24.45212348373868]
  本稿では,視覚的分類タスクにおけるモデル解釈可能性と性能を向上させるための新しい概念学習フレームワークを提案する。 本手法では, 教師なし説明生成器を一次分類器ネットワークに付加し, 対角訓練を利用する。 この研究は、タスク整合概念表現を用いた本質的に解釈可能なディープビジョンモデルを構築するための重要なステップを示す。
  論文  参考訳（メタデータ） (2024-01-09T16:16:16Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Attributing Learned Concepts in Neural Networks to Training Data [5.930268338525991]
  コンバージェンス(収束)の証拠として,概念の上位1万個の画像を取り除き,モデルの再トレーニングを行うと,ネットワーク内の概念の位置が変化しない。 このことは、概念の発達を知らせる特徴が、概念形成の堅牢さを暗示して、その先例にまたがるより拡散した方法で広がることを示唆している。
  論文  参考訳（メタデータ） (2023-10-04T20:26:59Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Discovering Concepts in Learned Representations using Statistical Inference and Interactive Visualization [0.76146285961466]
  概念発見は、深層学習の専門家とモデルエンドユーザーの間のギャップを埋めるために重要である。 現在のアプローチには、手作りの概念データセットと、それを潜在空間方向に変換することが含まれる。 本研究では,複数の仮説テストに基づく意味ある概念のユーザ発見と,インタラクティブな可視化に関する2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-09T22:29:48Z)
• Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing [5.648636668261282]
  本稿では,新しい知識追跡モデル,すなわちemphDeep Graph Memory Network(DGMN)を提案する。 このモデルでは、忘れる動作を捉えるために、注意記憶構造に忘れるゲーティング機構を組み込む。 このモデルは動的潜在概念グラフから潜在概念間の関係を学習する能力を有する。
  論文  参考訳（メタデータ） (2021-08-18T12:04:10Z)
• Learning Stable Deep Dynamics Models [91.90131512825504]
  状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。 このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2020-01-17T00:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。