論文の概要: Know-MRI: A Knowledge Mechanisms Revealer&Interpreter for Large Language Models
- arxiv url: http://arxiv.org/abs/2506.08427v1
- Date: Tue, 10 Jun 2025 04:03:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:41.455143
- Title: Know-MRI: A Knowledge Mechanisms Revealer&Interpreter for Large Language Models
- Title（参考訳）: Know-MRI:大規模言語モデルのための知識メカニズム
- Authors: Jiaxiang Liu, Boxuan Xing, Chenhao Yuan, Chenxiang Zhang, Di Wu, Xiusheng Huang, Haida Yu, Chuhan Lang, Pengfei Cao, Jun Zhao, Kang Liu,
- Abstract要約: 我々は,大規模言語モデル(LLM)内の知識メカニズムを体系的に解析するために設計された,オープンソースの知識メカニズム探索・解釈器(Know-MRI)を提案する。
具体的には、異なる入力データと解釈手法を自動マッチングし、解釈出力を集約するコアモジュールを開発した。
- 参考スコア（独自算出の注目度）: 17.316882613263818
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As large language models (LLMs) continue to advance, there is a growing urgency to enhance the interpretability of their internal knowledge mechanisms. Consequently, many interpretation methods have emerged, aiming to unravel the knowledge mechanisms of LLMs from various perspectives. However, current interpretation methods differ in input data formats and interpreting outputs. The tools integrating these methods are only capable of supporting tasks with specific inputs, significantly constraining their practical applications. To address these challenges, we present an open-source Knowledge Mechanisms Revealer&Interpreter (Know-MRI) designed to analyze the knowledge mechanisms within LLMs systematically. Specifically, we have developed an extensible core module that can automatically match different input data with interpretation methods and consolidate the interpreting outputs. It enables users to freely choose appropriate interpretation methods based on the inputs, making it easier to comprehensively diagnose the model's internal knowledge mechanisms from multiple perspectives. Our code is available at https://github.com/nlpkeg/Know-MRI. We also provide a demonstration video on https://youtu.be/NVWZABJ43Bs.
- Abstract（参考訳）: 大規模言語モデル(LLM)が進歩を続けるにつれ、内部知識機構の解釈可能性を高めるための緊急性が高まっている。
その結果,様々な視点からLLMの知識メカニズムを解明することを目的として,多くの解釈手法が出現した。
しかし、現在の解釈法は入力データ形式と解釈出力が異なる。
これらの手法を統合するツールは、特定の入力でタスクをサポートすることしかできず、実践的な応用を著しく制限する。
これらの課題に対処するために,LLM内の知識メカニズムを系統的に解析するために設計された,オープンソースの知識メカニズムリベラ・インタプリタ(Know-MRI)を提案する。
具体的には,異なる入力データと解釈手法を自動マッチングし,解釈出力を集約する拡張可能なコアモジュールを開発した。
これにより、ユーザーは入力に基づいて適切な解釈方法を自由に選択でき、複数の視点からモデルの内部知識メカニズムを包括的に診断しやすくなる。
私たちのコードはhttps://github.com/nlpkeg/Know-MRIで公開されています。
また、https://youtu.be/NVWZABJ43Bs.comでデモビデオを公開しています。
関連論文リスト
- Introspective Growth: Automatically Advancing LLM Expertise in Technology Judgment [0.0]
大きな言語モデル(LLM)は、概念的理解の兆候をますます示している。
彼らの内部知識の多くは、潜伏し、ゆるやかに構造化され、アクセスや評価が難しいままである。
LLMの理解を改善するための軽量でスケーラブルな戦略として,自己問合せを提案する。
論文 参考訳（メタデータ） (2025-05-18T15:04:02Z) - Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
検索強化世代(RAG)は知識範囲の拡大に広く利用されている。
RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。
本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
論文 参考訳（メタデータ） (2025-05-17T13:13:13Z) - How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders [30.36521888592164]
大規模言語モデル(LLM)は、目覚ましい多言語機能と幅広い知識を示している。
LLMの内部表現にエンコードされた情報が、トレーニングプロセス中にどのように進化するかを分析する。
論文 参考訳（メタデータ） (2025-03-09T02:13:44Z) - A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models [40.67240575271987]
大規模言語モデル(LLM)は自然言語処理を変換しているが、その内部メカニズムはほとんど不透明である。
機械的解釈性は、LLMの内部動作を理解する手段として、研究コミュニティから大きな注目を集めている。
スパースオートエンコーダ(SAE)は、LLM内の複雑な重畳された機能をより解釈可能なコンポーネントに分解する能力のために、将来性のある方法として登場した。
論文 参考訳（メタデータ） (2025-03-07T17:38:00Z) - Explainable artificial intelligence (XAI): from inherent explainability to large language models [0.0]
説明可能なAI(XAI)技術は、機械学習モデルの説明可能性や解釈可能性を促進する。
本稿では、本質的に解釈可能なモデルから現代的なアプローチまで、説明可能なAI手法の進歩について詳述する。
我々は、視覚言語モデル(VLM)フレームワークを利用して、他の機械学習モデルの説明可能性を自動化または改善する説明可能なAI技術についてレビューする。
論文 参考訳（メタデータ） (2025-01-17T06:16:57Z) - LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。
このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。
本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
論文 参考訳（メタデータ） (2024-04-03T23:57:34Z) - Interpretable and Explainable Machine Learning Methods for Predictive
Process Monitoring: A Systematic Literature Review [1.3812010983144802]
本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。
我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。
我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
論文 参考訳（メタデータ） (2023-12-29T12:43:43Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。