論文の概要: SLIM: Sparse Latent Steering for Interpretable and Property-Directed LLM-Based Molecular Editing
- arxiv url: http://arxiv.org/abs/2605.10831v1
- Date: Mon, 11 May 2026 16:47:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:51.005183
- Title: SLIM: Sparse Latent Steering for Interpretable and Property-Directed LLM-Based Molecular Editing
- Title(参考訳): SLIM: LLMによる分子編集のためのスパースラテントステアリング
- Abstract要約: SLIM (Sparse Latent Interpretable Molecular editing) は,エディタの隠蔽状態をスパースなプロパティ整列機能に分解するプラグイン・アンド・プレイ・フレームワークである。
このスパース機能空間におけるSLIMステアリングは、プロパティ関連次元を正確に活性化し、モデルパラメータを変更することなく、編集成功率を向上させる。
MolEditRLベンチマークの実験では、4つのモデルアーキテクチャと8つの分子特性がベースラインよりも一貫した利得を示し、最大42.4ポイントの改善がなされた。
- 参考スコア(独自算出の注目度): 21.844862497952334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models possess strong chemical reasoning capabilities, making them effective molecular editors. However, property-relevant information is implicitly entangled across their dense hidden states, providing no explicit handle for property control: a substantial fraction of edits fail to improve or even degrade target properties. To address these issues, we propose SLIM (Sparse Latent Interpretable Molecular editing), a plug-and-play framework that decomposes the editor's hidden states into sparse, property-aligned features via a Sparse Autoencoder with learnable importance gates. Steering in this sparse feature space precisely activates property-relevant dimensions, improving editing success rate without modifying model parameters. The same sparse basis further supports interpretable analysis of editing behavior. Experiments on the MolEditRL benchmark across four model architectures and eight molecular properties show consistent gains over baselines, with improvements of up to 42.4 points.
- Abstract(参考訳): 大規模言語モデルには強力な化学的推論能力があり、効果的な分子エディターとなっている。
しかし、プロパティ関連情報は密に隠された状態に暗黙的に絡まっており、プロパティ制御の明示的なハンドルを提供していない。
これらの問題に対処するため,SLIM (Sparse Latent Interpretable Molecular editing) を提案する。これは,エディタの隠された状態を,学習可能な重要ゲートを持つスパースオートエンコーダを介して,スパースなプロパティ整列機能に分解するプラグイン・アンド・プレイ・フレームワークである。
このスパース機能空間におけるステアリングは、プロパティ関連次元を正確に活性化し、モデルパラメータを変更することなく、編集成功率を改善する。
同じスパースベースでは、編集動作の解釈可能な解析もサポートしている。
MolEditRLベンチマークの実験では、4つのモデルアーキテクチャと8つの分子特性がベースラインよりも一貫した利得を示し、最大42.4ポイントの改善がなされた。
関連論文リスト
- Improving Molecular Property Prediction in Small Language Models Using Graph-based Tools [3.832124824566051]
小型言語モデル (SLM) はSMILES文字列からゼロショット分子特性を予測することを約束している。
本稿では,エージェントツールを推論時に使用できるモジュール型Context-Augmented Promptingフレームワークを提案する。
論文 参考訳(メタデータ) (2026-07-14T13:10:30Z) - Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。
本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。
トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。
推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
論文 参考訳(メタデータ) (2025-11-25T22:15:00Z) - MolEdit: Knowledge Editing for Multimodal Molecule Language Models [57.85765246726558]
MolEditは分子対カプセル生成とキャプション対分子生成のためのフレームワークである。
MolEditにはMulti-Expert Knowledge Adapterが組み込まれており、異なる分子ファセットの専門の専門家に、Expertise-Aware Editing Switcherで編集をルーティングする。
MolEditは信頼性を最大18.8%向上し、効率を保ちながらベースラインよりも12.0%良いローカリティを提供する。
論文 参考訳(メタデータ) (2025-11-16T20:48:37Z) - Hierarchical Structure-Property Alignment for Data-Efficient Molecular Generation and Editing [14.308978798996472]
HSPAGは階層構造とプロパティのアライメントを特徴とするデータ効率のフレームワークである。
補助変分自動エンコーダを用いて,足場クラスタリングとハードサンプルを用いて代表サンプルを選択する。
実験により、HSPAGは微細な構造-プロパティ関係を捕捉し、複数の特性制約の下で制御可能な生成をサポートすることが示された。
論文 参考訳(メタデータ) (2025-11-11T10:31:09Z) - Knowledge Editing with Subspace-Aware Key-Value Mappings [21.842110144628048]
Subspace Knowledge Edit (SUIT) は、編集に関連する重要な機能のサブスペースのみを特定し、修正する手法である。
以上の結果から,SuITは高い編集効率を維持しつつ,強いベースライン上での知識保存を劇的に改善することが示された。
論文 参考訳(メタデータ) (2025-09-29T09:17:42Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳(メタデータ) (2025-06-09T16:16:42Z) - InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing [86.17245523439514]
In-context Learningは、コンテキストエンコーディングを通じて編集情報を解釈することで、有望な編集方法である。
この方法は、大きな言語モデルの限られたコンテキストウィンドウによって制約される。
編集コンテキストの処理能力を向上させるフレキシブルなフレームワークであるInComeSを提案する。
論文 参考訳(メタデータ) (2025-05-28T09:20:18Z) - MolEditRL: Structure-Preserving Molecular Editing via Discrete Diffusion and Reinforcement Learning [4.430115182041077]
MolEditRLは、構造的制約と正確なプロパティ最適化を統合する分子編集フレームワークである。
包括的評価のために,最大かつ最も特性に富んだ分子編集データセットである MolEdit-Instruct を構築した。
論文 参考訳(メタデータ) (2025-05-26T15:29:08Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。
分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。
これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
論文 参考訳(メタデータ) (2024-01-09T18:03:15Z) - MELO: Enhancing Model Editing with Neuron-Indexed Dynamic LoRA [34.21194537887934]
ニューロンインデクシング動的LoRA(MELO)に基づくプラグインモデル編集手法を提案する。
提案するMELOは,3つの逐次編集タスクにおける最先端の編集性能を実現する。
論文 参考訳(メタデータ) (2023-12-19T02:11:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。