論文の概要: Latent Concept Disentanglement in Transformer-based Language Models
- arxiv url: http://arxiv.org/abs/2506.16975v2
- Date: Fri, 26 Sep 2025 13:37:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 14:23:57.46935
- Title: Latent Concept Disentanglement in Transformer-based Language Models
- Title（参考訳）: 変圧器に基づく言語モデルにおける潜在概念の絡み合い
- Authors: Guan Zhe Hong, Bhavya Vasudeva, Vatsal Sharan, Cyrus Rashtchian, Prabhakar Raghavan, Rina Panigrahy,
- Abstract要約: 大規模言語モデル(LLM)は、新しいタスクを解決するためにコンテキスト内学習(ICL)を使用する。
これにより、トランスフォーマーがその計算の一部として潜在構造をどのように表現するかという疑問が提起される。
我々は機械的解釈可能性を用いてこの問題を研究する。
- 参考スコア（独自算出の注目度）: 15.764142646256785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When large language models (LLMs) use in-context learning (ICL) to solve a new task, they must infer latent concepts from demonstration examples. This raises the question of whether and how transformers represent latent structures as part of their computation. Our work experiments with several controlled tasks, studying this question using mechanistic interpretability. First, we show that in transitive reasoning tasks with a latent, discrete concept, the model successfully identifies the latent concept and does step-by-step concept composition. This builds upon prior work that analyzes single-step reasoning. Then, we consider tasks parameterized by a latent numerical concept. We discover low-dimensional subspaces in the model's representation space, where the geometry cleanly reflects the underlying parameterization. Overall, we show that small and large models can indeed disentangle and utilize latent concepts that they learn in-context from a handful of abbreviated demonstrations.
- Abstract（参考訳）: 大規模言語モデル(LLM)が新しいタスクを解決するためにコンテキスト内学習(ICL)を使用する場合、デモ例から潜在概念を推論する必要がある。
これにより、トランスフォーマーがその計算の一部として潜在構造をどのように表現するかという疑問が提起される。
本研究は,機械的解釈可能性を用いて,いくつかの制御されたタスクを用いて実験を行った。
まず,潜在的,離散的な概念を持つ推移的推論タスクにおいて,モデルが潜在的概念を識別し,ステップバイステップの概念構成を行うことを示す。
これは、シングルステップの推論を分析する事前の作業の上に構築される。
そこで我々は,潜在数値概念によってパラメータ化されたタスクを考える。
モデル表現空間内の低次元部分空間を発見し、そこで幾何学は下層のパラメータ化をきれいに反映する。
全体として、小さくて大きなモデルでは、いくつかの短いデモからコンテキスト内で学習する潜在概念を実際に切り離し、活用できることが示される。
関連論文リスト
- Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization [2.163881720692685]
本稿では,概念層をアーキテクチャに組み込むことにより,解釈可能性とインターベンタビリティを既存モデルに組み込む新しい手法を提案する。
我々のアプローチは、モデルの内部ベクトル表現を、再構成してモデルにフィードバックする前に、概念的で説明可能なベクトル空間に投影する。
複数のタスクにまたがるCLを評価し、本来のモデルの性能と合意を維持しつつ、意味のある介入を可能にしていることを示す。
論文 参考訳（メタデータ） (2025-02-19T11:10:19Z) - Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。
回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。
提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
論文 参考訳（メタデータ） (2025-02-13T07:19:05Z) - Sparse autoencoders reveal selective remapping of visual concepts during adaptation [54.82630842681845]
特定の目的のために基礎モデルを適用することは、機械学習システムを構築するための標準的なアプローチとなっている。
PatchSAEと呼ばれるCLIPビジョントランスのための新しいスパースオートエンコーダ(SAE)を開発し、解釈可能な概念を抽出する。
論文 参考訳（メタデータ） (2024-12-06T18:59:51Z) - Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。
この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
論文 参考訳（メタデータ） (2024-11-04T15:54:32Z) - Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution [23.594013836364628]
本稿では,特定の概念を表す部分空間を近似する手法を提案する。
我々は,GCSの有効性を,複数の大規模言語モデルにまたがる忠実度と妥当性を計測することによって実証する。
また、感情ステアリングなどの実世界の応用において、表現介入タスクを用いてその効果を示す。
論文 参考訳（メタデータ） (2024-09-30T18:52:53Z) - PaCE: Parsimonious Concept Engineering for Large Language Models [57.740055563035256]
Parsimonious Concept Engineering (PaCE)は、アライメントのための新しいアクティベーションエンジニアリングフレームワークである。
アクティベーション空間において,各原子が意味論的概念に対応する大規模概念辞書を構築する。
本研究では,PaCEが言語能力を維持しつつ,最先端のアライメント性能を実現することを示す。
論文 参考訳（メタデータ） (2024-06-06T17:59:10Z) - Identifying Linear Relational Concepts in Large Language Models [16.917379272022064]
トランスフォーマー言語モデル(LM)は、隠れたアクティベーションの潜在空間における方向として概念を表現することが示されている。
本稿では,リレーショナル・リレーショナル・コンセプト (LRC) と呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2023-11-15T14:01:41Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳（メタデータ） (2023-05-29T23:24:14Z) - ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。
我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
論文 参考訳（メタデータ） (2022-11-12T11:31:09Z) - RelViT: Concept-guided Vision Transformer for Visual Relational
Reasoning [139.0548263507796]
私たちは視覚推論のベースモデルとして視覚変換器(ViT)を使用します。
我々は、ViTの推論能力を改善するために、オブジェクトエンティティとして定義された概念とその関係をよりよく活用する。
HICO と GQA のベンチマークでは,提案モデルである概念誘導型視覚変換器 (略して RelViT ) が従来の手法よりも大幅に優れていたことを示す。
論文 参考訳（メタデータ） (2022-04-24T02:46:43Z) - Interpretable Visual Reasoning via Induced Symbolic Space [75.95241948390472]
視覚的推論における概念誘導の問題,すなわち,画像に関連付けられた質問応答対から概念とその階層的関係を同定する。
我々はまず,オブジェクトレベルの視覚的特徴を持つ視覚的推論タスクを実行するために,オブジェクト指向合成注意モデル(OCCAM)という新しいフレームワークを設計する。
そこで我々は,対象の視覚的特徴と質問語の間の注意パターンから手がかりを用いて,対象と関係の概念を誘導する手法を考案した。
論文 参考訳（メタデータ） (2020-11-23T18:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。