論文の概要: LogitLens4LLMs: Extending Logit Lens Analysis to Modern Large Language Models

• arxiv url: http://arxiv.org/abs/2503.11667v1
• Date: Mon, 24 Feb 2025 03:37:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-23 07:37:01.034634
• Title: LogitLens4LLMs: Extending Logit Lens Analysis to Modern Large Language Models
• Title（参考訳）: LogitLens4LLMs: 現代的な大規模言語モデルへのロジットレンズ解析の拡張
• Authors: Zhenyu Wang,
• Abstract要約: LogitLens4LLMsは、Logit Lensテクニックを現代の大規模言語モデルに拡張するツールキットである。 我々の研究は既存の実装の限界を克服し、最先端のアーキテクチャに適用できるようにしています。
• 参考スコア（独自算出の注目度）: 6.002736042809241
• License:
• Abstract: This paper introduces LogitLens4LLMs, a toolkit that extends the Logit Lens technique to modern large language models. While Logit Lens has been a crucial method for understanding internal representations of language models, it was previously limited to earlier model architectures. Our work overcomes the limitations of existing implementations, enabling the technique to be applied to state-of-the-art architectures (such as Qwen-2.5 and Llama-3.1) while automating key analytical workflows. By developing component-specific hooks to capture both attention mechanisms and MLP outputs, our implementation achieves full compatibility with the HuggingFace transformer library while maintaining low inference overhead. The toolkit provides both interactive exploration and batch processing capabilities, supporting large-scale layer-wise analyses. Through open-sourcing our implementation, we aim to facilitate deeper investigations into the internal mechanisms of large-scale language models. The toolkit is openly available at https://github.com/zhenyu-02/LogitLens4LLMs.
• Abstract（参考訳）: 本稿では,LogitLens4LLMsを導入し,ロジットレンズの技法を現代の大言語モデルに拡張するツールキットについて述べる。 Logit Lensは言語モデルの内部表現を理解する上で重要な手法であるが、以前は以前のモデルアーキテクチャに限られていた。 我々の研究は既存の実装の限界を克服し、重要な分析ワークフローを自動化しながら最先端アーキテクチャ(Qwen-2.5やLlama-3.1)に適用することを可能にする。 注目機構とMPP出力の両方をキャプチャするコンポーネント固有のフックを開発することで,HuggingFace変換ライブラリとの完全な互換性を実現し,推論オーバーヘッドの低減を実現した。 このツールキットはインタラクティブな探索とバッチ処理の両方機能を提供する。 実装をオープンソース化することで,大規模言語モデルの内部メカニズムのより深い調査を促進することを目的としている。 このツールキットはhttps://github.com/zhenyu-02/LogitLens4LLMsで公開されている。

関連論文リスト

• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• DeepDecipher: Accessing and Investigating Neuron Activation in Large Language Models [2.992602379681373]
  DeepDecipherは、トランスフォーマーモデルのレイヤでニューロンを探索するためのAPIとインターフェースである。 本稿ではDeepDecipherの設計と機能について概説する。 我々は、ニューロンを分析し、モデルを比較し、モデル行動に関する洞察を得る方法を実証する。
  論文  参考訳（メタデータ） (2023-10-03T08:15:20Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for NLP Models [17.423179212411263]
  Language Interpretability Tool (LIT)は、NLPモデルの可視化と理解のためのオープンソースのプラットフォームである。 LITは、局所的な説明、集約分析、および反ファクト生成を、合理化されたブラウザベースのインターフェースに統合する。
  論文  参考訳（メタデータ） (2020-08-12T06:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。