論文の概要: What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

• arxiv url: http://arxiv.org/abs/2605.28823v1
• Date: Tue, 07 Apr 2026 03:50:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.535573
• Title: What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs
• Title（参考訳）: 彼らは何を考えているのか? LLMにおける概念の展開, 検証, 追跡
• Abstract要約: 広義の概念の集合の有無を検知するプローブの開発方法を示す。 これは4つの異なる概念と3つの異なるLLMで実現されている。 このプロセスがさらに多くの概念に拡張されると、新しいモデルを簡単に監視できるようになります。
• 参考スコア（独自算出の注目度）: 5.802955093242262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the influence of LLMs expands, it is imperative to gain insight into their decisions. One way to do that is to develop probes that detect the presence or absence of a broad set of concepts within the embeddings computed in an LLM - which is what we might say a model is "thinking" about. Such probes should be low-cost and easily applicable to any LLM, so that monitoring for many concepts is possible during normal operation. In this paper, we take the first steps towards developing the capability of creating many such probes by defining and executing examples of the key tasks needed: first, the careful delineation of a concept through the creation of a dataset with the concept both present and then absent. Then, the training and testing of a set of linear probes to detect the concept on any layer of an LLM, including an exploration of the complexity of the probe needed. Finally, we show that such probes can track concepts across larger contexts. This is done with four separate concepts and three different LLMs. When this process is scaled to many more concepts, it will create the ability to easily monitor new models.
• Abstract（参考訳）: LLMの影響が拡大するにつれて、その決定に対する洞察を得ることが不可欠である。 その方法の1つは、LLMで計算された埋め込みの中に幅広い概念の存在や欠如を検出するプローブを開発することです。 このようなプローブは低コストで、どんなLLMにも容易に適用でき、通常の操作で多くの概念の監視が可能となる。 本稿では、まず、必要となる重要なタスクの例を定義し、実行することで、そのようなプローブを多数作成する能力を開発するための第一歩を踏み出す。 次に、LLMの任意の層における概念を検出するために一連の線形プローブの訓練と試験を行い、必要なプローブの複雑さの探索を含む。 最後に、そのようなプローブは、より大きなコンテキストをまたいだ概念を追跡できることを示す。 これは4つの異なる概念と3つの異なるLLMで実現されている。 このプロセスがもっと多くの概念に拡張されると、新しいモデルを簡単に監視できるようになります。

関連論文リスト

• Geo-Spatial Concept Probing of Large Language Models: Abstraction, Compositionality, and Grounding [1.6658912537684456]
  大きな言語モデル(LLM)は、依然として真の概念理解に苦戦しています。 我々は,方向,距離,トポロジ,それらの構成といった空間的概念を対象とする,概念中心のベンチマークを構築した。 我々は、モデルスケールと設計が概念的理解にどのように影響するかを分析するために、複数のLLMアーキテクチャとトレーニング体制にわたる広範な実験を行う。
  論文  参考訳（メタデータ） (2026-08-07T15:46:38Z)
• Symbolic and Abstractive Reasoning with Complex Visual Queries [57.59111649292774]
  CVQ(complex visual query)と呼ばれる新しい抽象データ型を探索する。 CVQは記号的・抽象的推論(英語版)を探索し、MLLMに対する人間のような神経-記号的推論の批判的かつ過小評価された次元である。 本稿では、MLLMを頑健な視覚的推論能力で段階的に装備する2段階のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-08T08:30:51Z)
• Concept Component Analysis: A Principled Approach for Concept Extraction in LLMs [51.378834857406325]
  機械的解釈可能性(Mechanistic interpretability)は、大きな言語モデルからの抽出によって問題を緩和しようとする。 スパースオートエンコーダ (SAE) は、解釈可能・単意味的な概念を抽出するための一般的なアプローチである。 SAEは基本的な理論的曖昧さに悩まされており、LLM表現と人間解釈可能な概念との明確に定義された対応はいまだに不明である。
  論文  参考訳（メタデータ） (2026-01-28T09:27:05Z)
• Rethinking Reinforcement fine-tuning of LLMs: A Multi-armed Bandit Learning Perspective [54.209612511049734]
  1) それぞれの選択を最適化する役割は何か? 2) ボトルネックはどれか? 本論文は,光を遮蔽することを目的としており,微調整プロセスにおいて,絡み合ったいくつかの要因の課題に直面している。
  論文  参考訳（メタデータ） (2026-01-21T02:37:44Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• CBVLM: Training-free Explainable Concept-based Large Vision Language Models for Medical Image Classification [7.641602003136712]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、事前定義された人間の解釈可能な概念のセットにモデル出力を制約することで後者に対処する。 本稿では,これらの課題に対処する,シンプルで効果的な手法CBVLMを提案する。 4つの医療データセットと12のLVLMにまたがる広範囲な実験により,我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2025-01-21T16:38:04Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 概念深さ」の概念を導入し、より複雑な概念が一般的により深い層で得られることを示唆する。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Can LLMs Learn New Concepts Incrementally without Forgetting? [21.95081572612883]
  大規模言語モデル(LLM)は様々なタスクで目覚ましい成功を収めていますが、それを忘れずに漸進的に学習する能力は未熟です。 概念1K(Concept-1K)は,最近出現した1023個の概念を網羅した新しいデータセットである。 概念1Kをテストベッドとして使うことで、私たちは「LLMは人間のように忘れることなく、段階的に新しい概念を学ぶことができるのか?」という疑問に答えることを目指しています。
  論文  参考訳（メタデータ） (2024-02-13T15:29:50Z)
• The Tyranny of Possibilities in the Design of Task-Oriented LLM Systems: A Scoping Survey [1.0489539392650928]
  この論文は、最小限のタスク指向LLMシステムを定義し、そのようなシステムの設計空間を探求することから始まる。 結果のパターンを議論し、3つの予想に定式化する。 いずれにせよ、スコーピング調査は将来の研究の指針となる7つの予想を提示している。
  論文  参考訳（メタデータ） (2023-12-29T13:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。