論文の概要: From Found to Designed: Concepts as a Design Axis for Large Language Models

• arxiv url: http://arxiv.org/abs/2607.26825v1
• Date: Wed, 29 Jul 2026 12:18:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.660387
• Title: From Found to Designed: Concepts as a Design Axis for Large Language Models
• Title（参考訳）: 発見から設計へ:大規模言語モデルの設計軸としての概念
• Authors: Chen Shani,
• Abstract要約: 概念は大規模言語モデル(LLM)の設計軸として扱うべきだと我々は主張する。 この分類法は3つの大きなパターンを明らかにしている: 推論時アプローチは、比較的未熟なままであり、関連するアイデアはパイプラインステージをまたいだ分離で開発され、外部の基盤となるメソッドはパイプライン全体にまたがっているが、しばしば異なる用語で説明される。
• 参考スコア（独自算出の注目度）: 4.979725367638729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) encode rich concept-like information, but represent it implicitly through distributed statistical associations rather than as explicit, structured, compositional concepts. Consequently, concept-level structure is typically \emph{found} rather than \emph{designed}: it is recovered after training through probing or dictionary learning, with no architectural guarantee of stability, compositionality, controllability, or alignment with human conceptual organization. We argue that concepts should instead be treated as a design axis for LLMs, and map the design space along two dimensions: the pipeline stage at which concept structure is introduced (training objective, core architecture, inference, or post-hoc interpretation), and whether that structure is internally derived from the model's own representations or grounded in external resources. This taxonomy reveals three broad patterns: inference-time approaches remain comparatively underexplored, related ideas have developed largely in isolation across pipeline stages, and externally grounded methods span the entire pipeline despite often being described under different terminology. Together, these observations motivate moving beyond recovering concept-like structure from trained models toward designing LLMs with explicit conceptual representations.
• Abstract（参考訳）: 大型言語モデル(LLM)は、リッチな概念のような情報をエンコードするが、明示的で構造化された構成概念ではなく、分散統計アソシエーションを通して暗黙的に表現する。 その結果、概念レベルの構造は、通常「emph{found}」ではなく「emph{found}」である:それは、探索や辞書学習を通じて訓練後に回収され、安定性、構成性、制御性、あるいは人間の概念的組織との整合性の保証がない。 我々は、概念を LLM の設計軸として扱うべきであり、概念構造が導入されたパイプラインステージ(目標、コアアーキテクチャ、推論、ポストホック解釈の学習)と、その構造がモデル自身の表現から内部的に派生しているか、あるいは外部リソースに基礎を置いているかの2つの次元に沿って設計空間をマッピングすべきであると主張する。 この分類法は3つの大きなパターンを明らかにしている: 推論時アプローチは、比較的未熟なままであり、関連するアイデアはパイプラインステージをまたいだ分離で開発され、外部の基盤となるメソッドはパイプライン全体にまたがっているが、しばしば異なる用語で説明される。 これらとともに、これらの観測は、訓練されたモデルから明示的な概念表現を持つLLMの設計へと、概念的構造を回復する以上の動きを動機付けている。

関連論文リスト

• Formal Concept Lattices are Good Semantic Scaffolds for Concept-Based Learning [22.873980931052685]
  ディープラーニングモデルにとって、セマンティクスの学習は、解釈可能で、人間の推論に適合することが不可欠である。 概念ベースのモデルは、意味のあるセマンティック抽象化を通じてクラスを表現することによって、これにアプローチする。 ニューラルネットワーク学習を導くために,形式的概念格子が基本的意味足場を提供することを示す。
  論文  参考訳（メタデータ） (2026-06-03T21:50:29Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Insight: Interpretable Semantic Hierarchies in Vision-Language Encoders [52.94006363830628]
  言語対応の視覚基盤モデルは、下流の様々なタスクで強く機能する。 近年の研究では、これらの表現を人間の解釈可能な概念に分解するが、空間的接地が乏しく、画像分類に限られている。 入力画像に人間が解釈可能で空間的に接地した、きめ細かい概念を提供する言語対応概念基盤モデルであるInsightを提案する。
  論文  参考訳（メタデータ） (2026-01-20T09:57:26Z)
• A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
  解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。 両パラダイムが同じ幾何学的構造をインスタンス化することを示す。 CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
  論文  参考訳（メタデータ） (2025-12-08T09:51:46Z)
• MindCraft: How Concept Trees Take Shape In Deep Models [15.113541622429084]
  コンセプトツリー上に構築されたMindCraftフレームワークを紹介します。 概念木は階層的な概念の出現を再構築し、共有表現から線形に分離可能な部分空間へと正確に分岐する。 実証的な評価は、概念ツリーが意味的階層を回復し、潜在概念を歪め、複数のドメインにまたがって広く適用可能であることを示している。
  論文  参考訳（メタデータ） (2025-09-26T20:39:52Z)
• ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks [14.365259717799034]
  畳み込みニューラルネットワーク(CNN)の概念に基づく解釈可能性とは、内部モデル表現と高レベルの意味論的概念の整合性である。 モデルの内部の「思考経路」をシミュレートする概念ベースの解釈可能性フレームワークであるConceptFlowを提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:02:46Z)
• Aligned at the Start: Conceptual Groupings in LLM Embeddings [10.282327560070202]
  本稿では、しばしば見落とされがちな入力埋め込み(初期表現をトランスフォーマーブロックに入力する)に焦点を移す。 ファジィグラフ,k-nearest neighbor(k-NN),およびコミュニティ検出を用いて,多様なLDMの埋め込みを解析した。
  論文  参考訳（メタデータ） (2024-06-08T01:27:19Z)
• Coarse-to-Fine Concept Bottleneck Models [9.910980079138206]
  この研究は、アンテホック解釈可能性、特に概念ボトルネックモデル(CBM)をターゲットにしている。 我々のゴールは、人間の理解可能な概念を2段階の粒度で、高度に解釈可能な意思決定プロセスを認めるフレームワークを設計することである。 この枠組みでは、概念情報は全体像と一般的な非構造概念の類似性にのみ依存せず、画像シーンのパッチ固有の領域に存在するより粒度の細かい概念情報を発見・活用するために概念階層の概念を導入している。
  論文  参考訳（メタデータ） (2023-10-03T14:57:31Z)
• Text-to-Image Generation for Abstract Concepts [76.32278151607763]
  抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。 抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。 LLM抽出フォームパターンセットから概念依存型フォームを検索する。
  論文  参考訳（メタデータ） (2023-09-26T02:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。