論文の概要: Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2502.15576v1
• Date: Fri, 21 Feb 2025 16:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:46.917916
• Title: Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダにおける相互情報に基づく説明を用いたLLMの解釈とステアリング
• Authors: Xuansheng Wu, Jiayi Yuan, Wenlin Yao, Xiaoming Zhai, Ninghao Liu,
• Abstract要約: 大きな言語モデル(LLM)は人間のクエリを扱うのに優れていますが、時に欠陥や予期せぬ応答を生成することができます。 特徴解釈と相互情報に基づく目的設計のための固定語彙集合を提案する。 そこで本研究では,学習した機能アクティベーションを,対応する説明に基づいて調整する2つの実行時ステアリング戦略を提案する。
• 参考スコア（独自算出の注目度）: 29.356200147371275
• License:
• Abstract: Large language models (LLMs) excel at handling human queries, but they can occasionally generate flawed or unexpected responses. Understanding their internal states is crucial for understanding their successes, diagnosing their failures, and refining their capabilities. Although sparse autoencoders (SAEs) have shown promise for interpreting LLM internal representations, limited research has explored how to better explain SAE features, i.e., understanding the semantic meaning of features learned by SAE. Our theoretical analysis reveals that existing explanation methods suffer from the frequency bias issue, where they emphasize linguistic patterns over semantic concepts, while the latter is more critical to steer LLM behaviors. To address this, we propose using a fixed vocabulary set for feature interpretations and designing a mutual information-based objective, aiming to better capture the semantic meaning behind these features. We further propose two runtime steering strategies that adjust the learned feature activations based on their corresponding explanations. Empirical results show that, compared to baselines, our method provides more discourse-level explanations and effectively steers LLM behaviors to defend against jailbreak attacks. These findings highlight the value of explanations for steering LLM behaviors in downstream applications. We will release our code and data once accepted.
• Abstract（参考訳）: 大きな言語モデル(LLM)は人間のクエリを扱うのに優れていますが、時に欠陥や予期せぬ応答を生成することができます。 内部の状態を理解することは、成功を理解し、失敗を診断し、能力を改善するために重要です。 スパースオートエンコーダ (SAEs) は LLM の内部表現を解釈する公約を示しているが、限られた研究により、SAE の特徴、すなわち、SAE が学習した特徴の意味を理解する方法が検討されている。 理論的解析により,既存の説明手法は,意味概念よりも言語的パターンを重視した周波数バイアス問題に悩まされていることが明らかとなった。 そこで本稿では,これらの特徴の背景にある意味的意味をよりよく捉えることを目的として,特徴解釈のための固定語彙セットと相互情報に基づく目的を設計することを提案する。 さらに、学習した特徴の活性化を対応する説明に基づいて調整する2つの実行時ステアリング戦略を提案する。 実験の結果,本手法はベースラインと比較して,より談話レベルの説明を提供し,ジェイルブレイク攻撃に対するLLMの行為を効果的に制御できることが示唆された。 これらの知見は、下流アプリケーションにおけるLCMの動作を制御するための説明の意義を浮き彫りにした。 コードとデータを一度受け入れた後にリリースします。

関連論文リスト

• SEER: Self-Explainability Enhancement of Large Language Models' Representations [18.840860385644316]
  大規模言語モデル(LLM)を説明する自己説明法SEERを提案する。 本稿では、同じ概念を集約し、表現空間における異なる概念を分離することにより、LLMの説明可能性を高める自己説明法SEERを提案する。 自己説明型LLMが説明可能性と性能を一貫した改善を達成するための信頼性関連タスクへのSEERの適用について紹介する。
  論文  参考訳（メタデータ） (2025-02-07T13:25:33Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• Traffic Light or Light Traffic? Investigating Phrasal Semantics in Large Language Models [41.233879429714925]
  本研究は,フレーズ意味論を理解するためのAPIベースの大規模言語モデルの能力について批判的に考察する。 自然言語命令で指示されたフレーズ意味推論タスクの実行におけるLLMの性能を評価する。 句意味論の理解において, LLM が直面する制約を解釈するために, 詳細な誤り解析を行う。
  論文  参考訳（メタデータ） (2024-10-03T08:44:17Z)
• Rethinking Semantic Parsing for Large Language Models: Enhancing LLM Performance with Semantic Hints [20.844061807562436]
  本稿では,意味的ヒントをプロンプト内に埋め込む新しいプロンプト手法であるSENSEを提案する。 実験の結果、SENSE は様々なタスクで LLM のパフォーマンスを継続的に改善していることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T14:35:09Z)
• FaithLM: Towards Faithful Explanations for Large Language Models [67.29893340289779]
  大きな言語モデル(LLM)は、内部知識と推論能力を活用することで複雑なタスクに対処するのに熟練している。 これらのモデルのブラックボックスの性質は、意思決定プロセスを説明するタスクを複雑にしている。 自然言語 (NL) による LLM の決定を説明するために FaithLM を紹介した。
  論文  参考訳（メタデータ） (2024-02-07T09:09:14Z)
• LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools and Self-Explanations [26.340786701393768]
  対話の形で説明を提供する解釈可能性ツールは,ユーザの理解を高める上で有効であることを示す。 しかしながら、対話ベースの説明のための現在のソリューションは、しばしば外部ツールやモジュールを必要とし、設計されていないタスクに簡単に転送できない。 ユーザがその振る舞いについて,最先端の大規模言語モデル(LLM)とチャットできる,アクセスしやすいツールを提案する。
  論文  参考訳（メタデータ） (2024-01-23T09:11:07Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning [77.7070536959126]
  大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する 本稿では,情報フローレンズを用いたICLの動作機構について検討する。 本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。