論文の概要: Can LLMs Faithfully Solve Ontology Engineering Tasks? A Mechanistic Interpretability Study

• arxiv url: http://arxiv.org/abs/2610.38326v1
• Date: Wed, 28 Oct 2026 06:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.95968
• Title: Can LLMs Faithfully Solve Ontology Engineering Tasks? A Mechanistic Interpretability Study
• Title（参考訳）: LLMはオントロジー工学の課題を忠実に解決できるか? : 機械論的解釈可能性の研究
• Abstract要約: 本稿では,2つのオントロジ工学タスクに対する相互干渉評価を行う因果抽出ベンチマークMIOEを紹介する。 SAE-, DBM-, DAS-based method, including multi-task and multi-layer variants。 これらの結果は,大規模言語モデルでは,オントロジ的予測が機械的にアクセス可能であることを示唆している。
• 参考スコア（独自算出の注目度）: 6.4349412321361426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ontological knowledge underpins large language model (LLM) performance on knowledge-intensive tasks. However, existing evaluations of LLMs' ontological understanding largely rely on behavioral correctness, leaving the underlying mechanisms unexplained. Existing mechanistic interpretability work has largely focused on instance-level factual knowledge, leaving ontological knowledge under-explored. To bridge this gap, we introduce MIOE, a causal-abstraction benchmark that evaluates interchange interventions for two ontology engineering tasks: entity typing and subsumption prediction. MIOE tests whether learned internal intervention targets can change an ontology-level target answer while preserving class-specific auxiliary information. Across Qwen3-8B and Qwen3-4B, we evaluate SAE-, DBM-, and DAS-based methods, including multi-task and multi-layer variants. Distributed subspace methods give the strongest results and generalize across prompt settings, but the induced changes remain only partially separated from auxiliary class-specific information. Multi-task objectives and contiguous layer-window interventions improve this balance, while class-level analyses reveal substantial variation across ontology classes. These results suggest that ontological predictions are mechanistically accessible in LLMs, although current methods do not yet isolate a cleanly disentangled causal mechanism for ontological knowledge.
• Abstract（参考訳）: オントロジー知識は、知識集約的なタスクにおいて、大きな言語モデル(LLM)のパフォーマンスを支える。 しかし、LLMの存在論的理解の既存の評価は行動的正当性に大きく依存しており、基礎となるメカニズムは説明されていない。 既存の機械的解釈可能性の研究は、主に事例レベルの事実知識に焦点を合わせており、オントロジ的な知識は未探索のままである。 このギャップを埋めるために、我々は2つのオントロジー工学的タスク(エンティティタイピングと仮定予測)の相互干渉を評価する因果吸収ベンチマークMIOEを紹介する。 MIOEは、学習した内部介入目標が、クラス固有の補助情報を保持しながらオントロジーレベルの目標回答を変更することができるかどうかを検査する。 Qwen3-8B と Qwen3-4B にまたがって,多層および多層構造を含む SAE-, DBM-, DAS に基づく手法を評価する。 分散部分空間法は、最強の結果を与え、プロンプト設定をまたいで一般化するが、誘導された変化は、補助的なクラス固有情報から部分的にのみ分離される。 マルチタスクの目的と連続的な階層ウィンドウの介入は、このバランスを改善する一方、クラスレベルの分析は、オントロジークラス間でかなりのばらつきを示す。 これらの結果から,LLMではオントロジ予測が機械的にアクセス可能であることが示唆された。

関連論文リスト

• Tool-Augmented On-Policy Distillation for LLM Domain Adaptation in Sequence-Based Omics Tasks [72.97315136048122]
  マルチオミクスシーケンスの最初の推論ベンチマークであるOmicsBenchを紹介する。 予測と科学的推論の両方を評価することが重要です ツール強化型オン・ポリケーション (TA-OPD) を導入し, シークエンス予測とエビデンス基底の生物学的推論を一致させる。
  論文  参考訳（メタデータ） (2026-09-20T08:08:34Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Scaling and Beyond: Advancing Spatial Reasoning in MLLMs Requires New Recipes [84.1059652774853]
  MLLM(Multimodal Large Language Models)は、一般的な視覚言語タスクにおいて印象的な性能を示す。 近年の研究では、空間的推論能力の限界が明らかにされている。 この空間的推論の欠如は、MLLMが物理的世界と効果的に相互作用する能力を著しく制限する。
  論文  参考訳（メタデータ） (2025-04-21T11:48:39Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models [50.34089812436633]
  大規模言語モデル(LLM)は自然言語処理を変換しているが、その内部メカニズムはほとんど不透明である。 機械的解釈性は、LLMの内部動作を理解する手段として、研究コミュニティから大きな注目を集めている。 スパースオートエンコーダ(SAE)は、LLM内の複雑な重畳された機能をより解釈可能なコンポーネントに分解する能力のために、将来性のある方法として登場した。
  論文  参考訳（メタデータ） (2025-03-07T17:38:00Z)
• Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
  我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。 本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。 我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Reasoning Circuits in Language Models: A Mechanistic Interpretation of Syllogistic Inference [13.59675117792588]
  言語モデル(LM)に関する最近の研究は、体系的な推論原理を学べるかという議論を巻き起こしている。 本稿では,シロメトリクス推論の機械論的解釈について述べる。
  論文  参考訳（メタデータ） (2024-08-16T07:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。