論文の概要: From Found to Designed: Concepts as a Design Axis for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.26825v2
• Date: Thu, 30 Jul 2026 15:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 15:03:14.098203
• Title: From Found to Designed: Concepts as a Design Axis for Large Language Models
• Title（参考訳）: 発見から設計へ:大規模言語モデルの設計軸としての概念
• Abstract要約: 概念構造が内部的に誘導されるか外部的に接地されるかという2つの側面に沿った概念認識の介入と、それを導入するパイプラインのステージを整理する。 この分類法は3つの大きなパターンを明らかにしている: 推論時アプローチは、比較的未熟なままであり、関連するアイデアはパイプラインステージをまたいだ分離で開発され、外部の基盤となるメソッドはパイプライン全体にまたがっているが、しばしば異なる用語で説明される。
• 参考スコア（独自算出の注目度）: 4.979725367638729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) encode rich concept-like information, but represent it implicitly through distributed statistical associations rather than as explicit, structured, compositional concepts. Consequently, concept-level structure is typically \emph{found} rather than \emph{designed}: it is recovered after training through probing or dictionary learning, with no architectural guarantee of stability, compositionality, controllability, or alignment with human conceptual organization. We organize concept-aware interventions along two dimensions: whether concept structure is internally induced or externally grounded, and the stage of the pipeline where it is introduced. This taxonomy reveals three broad patterns: inference-time approaches remain comparatively underexplored, related ideas have developed largely in isolation across pipeline stages, and externally grounded methods span the entire pipeline despite often being described under different terminology. Together, these observations motivate moving beyond recovering concept-like structure from trained models toward designing LLMs with explicit conceptual representations.
• Abstract（参考訳）: 大型言語モデル(LLM)は、リッチな概念のような情報をエンコードするが、明示的で構造化された構成概念ではなく、分散統計アソシエーションを通して暗黙的に表現する。 その結果、概念レベルの構造は、通常「emph{found}」ではなく「emph{found}」である:それは、探索や辞書学習を通じて訓練後に回収され、安定性、構成性、制御性、あるいは人間の概念的組織との整合性の保証がない。 概念構造が内部的に誘導されるか外部的に接地されるかという2つの側面に沿った概念認識の介入と、それを導入するパイプラインのステージを整理する。 この分類法は3つの大きなパターンを明らかにしている: 推論時アプローチは、比較的未熟なままであり、関連するアイデアはパイプラインステージをまたいだ分離で開発され、外部の基盤となるメソッドはパイプライン全体にまたがっているが、しばしば異なる用語で説明される。 これらとともに、これらの観測は、訓練されたモデルから明示的な概念表現を持つLLMの設計へと、概念的構造を回復する以上の動きを動機付けている。

関連論文リスト

• Formal Concept Lattices are Good Semantic Scaffolds for Concept-Based Learning [22.873980931052685]
  ディープラーニングモデルにとって、セマンティクスの学習は、解釈可能で、人間の推論に適合することが不可欠である。 概念ベースのモデルは、意味のあるセマンティック抽象化を通じてクラスを表現することによって、これにアプローチする。 ニューラルネットワーク学習を導くために,形式的概念格子が基本的意味足場を提供することを示す。
  論文  参考訳（メタデータ） (2026-06-03T21:50:29Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Insight: Interpretable Semantic Hierarchies in Vision-Language Encoders [52.94006363830628]
  言語対応の視覚基盤モデルは、下流の様々なタスクで強く機能する。 近年の研究では、これらの表現を人間の解釈可能な概念に分解するが、空間的接地が乏しく、画像分類に限られている。 入力画像に人間が解釈可能で空間的に接地した、きめ細かい概念を提供する言語対応概念基盤モデルであるInsightを提案する。
  論文  参考訳（メタデータ） (2026-01-20T09:57:26Z)
• How Do Large Language Models Learn Concepts During Continual Pre-Training? [69.99800338599]
  我々は、個々の概念がどのように獲得され、忘れられるか、また、干渉やシナジーを通じて複数の概念がどのように相互作用するかを研究する。 本研究は,概念学習力学の回路レベルの視点を提供し,より解釈可能で堅牢な概念認識学習戦略の設計を通知する。
  論文  参考訳（メタデータ） (2026-01-07T04:29:15Z)
• A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
  解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。 両パラダイムが同じ幾何学的構造をインスタンス化することを示す。 CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
  論文  参考訳（メタデータ） (2025-12-08T09:51:46Z)
• FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
  ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。 本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。 私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
  論文  参考訳（メタデータ） (2025-10-29T13:35:46Z)
• MindCraft: How Concept Trees Take Shape In Deep Models [15.113541622429084]
  コンセプトツリー上に構築されたMindCraftフレームワークを紹介します。 概念木は階層的な概念の出現を再構築し、共有表現から線形に分離可能な部分空間へと正確に分岐する。 実証的な評価は、概念ツリーが意味的階層を回復し、潜在概念を歪め、複数のドメインにまたがって広く適用可能であることを示している。
  論文  参考訳（メタデータ） (2025-09-26T20:39:52Z)
• ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks [14.365259717799034]
  畳み込みニューラルネットワーク(CNN)の概念に基づく解釈可能性とは、内部モデル表現と高レベルの意味論的概念の整合性である。 モデルの内部の「思考経路」をシミュレートする概念ベースの解釈可能性フレームワークであるConceptFlowを提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:02:46Z)
• Large Language Models as Quasi-crystals: Coherence Without Repetition in Generative Text [0.0]
  エッセイは大規模言語モデル(LLM)と準結晶の類似性を提案し、局所的な制約によって生成される周期的反復を伴わないグローバルコヒーレンスを示すシステムである。 準結晶の歴史に基づいて、生成言語における代替的なコヒーレンスモード、すなわち反復や象徴的意図を伴わない制約に基づく組織を強調している。 このエッセイは、既存のメソッドを拒絶するのではなく、意味論よりも構造に根ざした解釈の新たな軸を提案することによって、大きな言語モデルに関する現在の議論を再考することを目的としている。
  論文  参考訳（メタデータ） (2025-04-16T11:27:47Z)
• OmniPrism: Learning Disentangled Visual Concept for Image Generation [57.21097864811521]
  創造的な視覚概念の生成は、しばしば関連する結果を生み出すために参照イメージ内の特定の概念からインスピレーションを引き出す。 我々は,創造的画像生成のための視覚的概念分離手法であるOmniPrismを提案する。 提案手法は,自然言語で案内される不整合概念表現を学習し,これらの概念を組み込むために拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-12-16T18:59:52Z)
• Aligned at the Start: Conceptual Groupings in LLM Embeddings [10.282327560070202]
  本稿では、しばしば見落とされがちな入力埋め込み(初期表現をトランスフォーマーブロックに入力する)に焦点を移す。 ファジィグラフ,k-nearest neighbor(k-NN),およびコミュニティ検出を用いて,多様なLDMの埋め込みを解析した。
  論文  参考訳（メタデータ） (2024-06-08T01:27:19Z)
• Coarse-to-Fine Concept Bottleneck Models [9.910980079138206]
  この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。 我々のゴールは、人間の理解可能な概念を2段階の粒度で、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。 この枠組みでは、概念情報は全体像と一般的な非構造概念の類似性にのみ依存せず、画像シーンのパッチ固有の領域に存在するより粒度の細かい概念情報を発見・活用するために概念階層の概念を導入している。
  論文  参考訳（メタデータ） (2023-10-03T14:57:31Z)
• Text-to-Image Generation for Abstract Concepts [76.32278151607763]
  抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。 抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。 LLM抽出フォームパターンセットから概念依存型フォームを検索する。
  論文  参考訳（メタデータ） (2023-09-26T02:22:39Z)
• Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
  概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。 我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。 我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
  論文  参考訳（メタデータ） (2022-08-31T17:06:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。