論文の概要: Aligned at the Start: Conceptual Groupings in LLM Embeddings

• arxiv url: http://arxiv.org/abs/2406.05315v3
• Date: Mon, 24 Feb 2025 17:53:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 16:03:02.965443
• Title: Aligned at the Start: Conceptual Groupings in LLM Embeddings
• Title（参考訳）: はじめに考える: LLM の埋め込みにおける概念的グループ化
• Authors: Mehrdad Khatir, Sanchit Kabra, Chandan K. Reddy,
• Abstract要約: 本稿では、しばしば見落とされがちな入力埋め込み(初期表現をトランスフォーマーブロックに入力する)に焦点を移す。 ファジィグラフ,k-nearest neighbor(k-NN),およびコミュニティ検出を用いて,多様なLDMの埋め込みを解析した。
• 参考スコア（独自算出の注目度）: 10.282327560070202
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper shifts focus to the often-overlooked input embeddings - the initial representations fed into transformer blocks. Using fuzzy graph, k-nearest neighbor (k-NN), and community detection, we analyze embeddings from diverse LLMs, finding significant categorical community structure aligned with predefined concepts and categories aligned with humans. We observe these groupings exhibit within-cluster organization (such as hierarchies, topological ordering, etc.), hypothesizing a fundamental structure that precedes contextual processing. To further investigate the conceptual nature of these groupings, we explore cross-model alignments across different LLM categories within their input embeddings, observing a medium to high degree of alignment. Furthermore, provide evidence that manipulating these groupings can play a functional role in mitigating ethnicity bias in LLM tasks.
• Abstract（参考訳）: 本稿では、しばしば見落とされがちな入力埋め込み(初期表現をトランスフォーマーブロックに入力する)に焦点を移す。 ファジィグラフ,k-nearest neighbor(k-NN),およびコミュニティ検出を用いて,多種多様なLSMからの埋め込みを解析し,事前に定義された概念やカテゴリに整合した有意な分類的コミュニティ構造を見出した。 我々は、これらのグループ化がクラスタ内の組織(階層、トポロジカル秩序など)を示すのを観察し、文脈処理に先行する基本的な構造を仮定する。 これらのグルーピングの概念的性質をさらに解明するため、入力埋め込みにおいて異なるLLMカテゴリ間のクロスモデルアライメントを探索し、中間から高次アライメントを観察する。 さらに、これらのグルーピングを操作することは、LLMタスクにおける民族性バイアスを軽減するのに機能的な役割を担っているという証拠を提供する。

関連論文リスト

• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• HiBench: Benchmarking LLMs Capability on Hierarchical Structure Reasoning [25.088407009353162]
  構造推論のための既存のベンチマークは主に水平構造と座標構造に焦点を当てている。 HiBenchは、最初の構造生成から最終的な熟練度評価まで、最初のフレームワークである。 30のタスクで構成され、総クエリ数は39,519である。
  論文  参考訳（メタデータ） (2025-03-02T14:25:37Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner [47.13805762269659]
  我々は、非構造化テーブルを認識するための訓練不要推論パラダイムとして、視覚大言語モデル(VLLM)を採用している。 低画質の入力画像の問題を軽減するために,Nighbor-Guided Toolchain Reasoner (NGTR) フレームワークを提案する。 提案手法は,バニラVLLMの認識能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-30T02:40:19Z)
• Understanding Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
  我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。 本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。 我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Flexible categorization using formal concept analysis and Dempster-Shafer theory [40.30013238421509]
  本稿では,外乱検出と分類のための機械学習メタアルゴリズムについて論じる。 このフレームワークは、エンティティの集合の説明可能な分類を生成し、研究するための公式な基盤を提供する。
  論文  参考訳（メタデータ） (2024-08-23T07:28:20Z)
• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• Explaining Multi-modal Large Language Models by Analyzing their Vision Perception [4.597864989500202]
  本研究では,画像埋め込み成分に着目し,MLLMの解釈可能性を高める新しい手法を提案する。 オープンワールドのローカライゼーションモデルとMLLMを組み合わせることで、同じビジョンの埋め込みからテキストとオブジェクトのローカライゼーション出力を同時に生成できる新しいアーキテクチャを構築する。
  論文  参考訳（メタデータ） (2024-05-23T14:24:23Z)
• ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
  ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。 これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。 実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-11T05:05:01Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• Analyzing Encoded Concepts in Transformer Language Models [21.76062029833023]
  ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
  論文  参考訳（メタデータ） (2022-06-27T13:32:10Z)
• Discovering Latent Concepts Learned in BERT [21.760620298330235]
  事前学習されたBERTモデルに潜伏概念が存在するかを検討する。 また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
  論文  参考訳（メタデータ） (2022-05-15T09:45:34Z)
• The Conceptual VAE [7.15767183672057]
  本稿では,変分オートエンコーダの枠組みに基づく新しい概念モデルを提案する。 このモデルは、概念のβ-VAEモデルにインスパイアされ、密接に関連しています。 モデルが概念分類器としてどのように使用できるか、そしてインスタンス毎に少ないラベルから学習するためにどのように適応できるかを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:27:28Z)
• Formalising Concepts as Grounded Abstractions [68.24080871981869]
  このレポートは、表現学習が生データから概念を誘導する方法を示しています。 このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
  論文  参考訳（メタデータ） (2021-01-13T15:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。