論文の概要: From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models
- arxiv url: http://arxiv.org/abs/2506.01133v1
- Date: Sun, 01 Jun 2025 19:33:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:09.259805
- Title: From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models
- Title（参考訳）: 言葉から波へ:音声とテキストに基づく基礎モデルにおける概念形成の分析
- Authors: Asım Ersoy, Basel Mousi, Shammur Chowdhury, Firoj Alam, Fahim Dalvi, Nadir Durrani,
- Abstract要約: 音声モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。
ニューラルネットワークの潜在表現を探索する教師なし手法である潜在概念解析を用いて、意味的抽象がモーダル間にどのように形成されるかを調べる。
- 参考スコア（独自算出の注目度）: 20.244145418997377
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The emergence of large language models (LLMs) has demonstrated that systems trained solely on text can acquire extensive world knowledge, develop reasoning capabilities, and internalize abstract semantic concepts--showcasing properties that can be associated with general intelligence. This raises an intriguing question: Do such concepts emerge in models trained on other modalities, such as speech? Furthermore, when models are trained jointly on multiple modalities: Do they develop a richer, more structured semantic understanding? To explore this, we analyze the conceptual structures learned by speech and textual models both individually and jointly. We employ Latent Concept Analysis, an unsupervised method for uncovering and interpreting latent representations in neural networks, to examine how semantic abstractions form across modalities. For reproducibility we made scripts and other resources available to the community.
- Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、テキストのみに訓練されたシステムが広範な世界知識を獲得し、推論能力を開発し、抽象的な意味概念を内部化することを示した。
このような概念は、スピーチのような他のモダリティで訓練されたモデルに現れますか?
さらに、モデルが複数のモダリティに基づいて共同でトレーニングされる場合、よりリッチでより構造化されたセマンティック理解が開発されますか?
そこで本研究では,言語モデルとテキストモデルによって学習された概念構造を,個人的,共同的に分析する。
ニューラルネットワークにおける潜在表現を探索し解釈するための教師なしの方法である潜在概念分析を用いて、意味的抽象がモーダル性にわたってどのように形成されるかを調べる。
再現性のために、スクリプトやその他のリソースをコミュニティに提供しました。
関連論文リスト
- Human-like conceptual representations emerge from language prediction [72.5875173689788]
大規模言語モデル(LLMs)は、言語データに対する次世代の予測を通じてのみ訓練され、顕著な人間的な振る舞いを示す。
これらのモデルは、人間に似た概念を発達させ、もしそうなら、そのような概念はどのように表現され、組織化されるのか?
以上の結果から,LLMは言語記述から他の概念に関する文脈的手がかりに関して柔軟に概念を導出できることが示唆された。
これらの結果は、構造化された人間のような概念表現が、現実世界の接地なしに言語予測から自然に現れることを証明している。
論文 参考訳（メタデータ） (2025-01-21T23:54:17Z) - Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [80.32412260877628]
人間の解釈可能な概念をデータから学習する方法を研究する。
両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
論文 参考訳（メタデータ） (2024-02-14T15:23:59Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。
我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
論文 参考訳（メタデータ） (2022-11-12T11:31:09Z) - Discovering Latent Concepts Learned in BERT [21.760620298330235]
事前学習されたBERTモデルに潜伏概念が存在するかを検討する。
また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
論文 参考訳（メタデータ） (2022-05-15T09:45:34Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳（メタデータ） (2020-11-22T17:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。