論文の概要: Domain Restriction via Multi SAE Layer Transitions

• arxiv url: http://arxiv.org/abs/2605.11920v1
• Date: Tue, 12 May 2026 10:36:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.798457
• Title: Domain Restriction via Multi SAE Layer Transitions
• Title（参考訳）: マルチSAE層遷移による領域制限
• Authors: Elias Shaheen, Avi Mendelson,
• Abstract要約: レイヤ遷移は、ドメイン固有のシグネチャを抽出するための有望な道を提供することを示す。 具体的には、スパースオートエンコーダを用いて符号化された内部力学の軽量な学習方法を提案する。 本手法を網羅的に解析し,gemma-2Bおよび9Bモデルでベンチマークする。
• 参考スコア（独自算出の注目度）: 0.20052993723676893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The general-purpose nature of Large Language Models (LLMs) presents a significant challenge for domain-specific applications, often leading to out-of-domain (OOD) interactions that undermine the provider's intent. Existing methods for detecting such scenarios treat the LLM as an uninterpretable black box and overlook the internal processing of inputs. In this work we show that layer transitions provide a promising avenue for extracting domain-specific signature. Specifically, we present several lightweight ways of learning on internal dynamics encoded using a sparse autoencoder (SAE) that exhibit great capability in distinguishing OOD texts. Building on top of SAEs representation transitions enables us to better interpret the LLM internal evolution of input processing and shed light on its decisions. We provide a comprehensive analysis of the method and benchmark it with the gemma-2 2B and 9B models. Our results emphasize the efficacy of the internal process in capturing fine-grained input-related details.
• Abstract（参考訳）: 大規模言語モデル(LLM)の汎用的な性質は、ドメイン固有のアプリケーションに重大な課題をもたらし、多くの場合、プロバイダの意図を損なうドメイン外相互作用(OOD)につながる。 このようなシナリオを検出する既存の方法は、LCMを解釈不能なブラックボックスとして扱い、入力の内部処理を見落としている。 本研究では、レイヤ遷移がドメイン固有のシグネチャを抽出するための有望な経路を提供することを示す。 具体的には、OODテキストを識別する優れた能力を示すスパースオートエンコーダ(SAE)を用いて符号化された内部力学の軽量な学習方法を提案する。 SAEの表現遷移の上に構築することで、入力処理の内部進化をよりよく解釈し、その決定に光を当てることができます。 本手法を網羅的に解析し,gemma-2Bおよび9Bモデルでベンチマークする。 本研究は,詳細な入力関連情報を収集する際の内部プロセスの有効性を強調した。

関連論文リスト

• FineRS: Fine-grained Reasoning and Segmentation of Small Objects with Reinforcement Learning [62.11389260206383]
  textscFineRSは、非常に小さなオブジェクトをセグメント化するための2段階のMLLMベースの強化学習フレームワークである。 textscFineRS-4kは,属性レベルの推論に基づくMLLMの評価と,微妙で小規模なターゲットに対する画素レベルのセグメンテーションのための新しいデータセットである。
  論文  参考訳（メタデータ） (2025-10-24T10:14:17Z)
• Integrating Domain Knowledge into Process Discovery Using Large Language Models [3.7448613209842967]
  本稿では,自然言語で表現されたドメイン知識をプロセス発見パイプラインに組み込む対話型フレームワークを提案する。 このフレームワークは、LLM(Large Language Models)、ドメインエキスパート、バックエンドサービスのセット間のインタラクションを調整する。 我々の実証研究は、実際のイベントログに基づくケーススタディと、フレームワークのユーザビリティと有効性を評価するドメインエキスパートの関与を含む。
  論文  参考訳（メタデータ） (2025-10-08T15:59:11Z)
• Agent Fine-tuning through Distillation for Domain-specific LLMs in Microdomains [6.323778761045108]
  エージェント型大規模言語モデル (LLM) は, 外部環境との自律的対話において注目されている。 本稿では,日立のJP1マイクロドメインにおけるドメイン適応のためのエージェント微調整について検討する。
  論文  参考訳（メタデータ） (2025-10-01T04:04:53Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Teach Old SAEs New Domain Tricks with Boosting [3.3865605512957453]
  本稿では,完全再訓練を必要とせず,この特徴の盲点に対処する残差学習手法を提案する。 本研究では,ドメイン固有のテキストに基づいて,事前訓練されたSAEの再構成誤りをモデル化するための二次SAEのトレーニングを提案する。 推論中の両モデルの出力を要約することにより、LLMのクロスエントロピーと説明分散メトリクスの双方において、大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-07-17T10:57:49Z)
• Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs [56.76586846269894]
  MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:07:41Z)
• InverseScope: Scalable Activation Inversion for Interpreting Large Language Models [5.670123459649656]
  InverseScopeは、入力インバージョンを介して神経活性化を解釈するための仮定ライトでスケーラブルなフレームワークである。 高次元空間におけるサンプリングの非効率性に対処するために,新しい条件生成アーキテクチャを提案する。 また,サンプル入力上で計算された特徴整合率を用いて,解釈可能性仮説をテストする定量的評価プロトコルを導入する。
  論文  参考訳（メタデータ） (2025-06-09T03:59:28Z)
• BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition [12.57768435856206]
  本稿では,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 ターゲットドメインからソースドメインに情報をアライメントするためにLoRAHubを使用し、適応型クロスドメイン分類機能を強化する。
  論文  参考訳（メタデータ） (2024-12-03T07:51:14Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。