論文の概要: ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization

• arxiv url: http://arxiv.org/abs/2602.17867v1
• Date: Thu, 19 Feb 2026 22:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.165157
• Title: ADAPT: Hybrid Prompt Optimization for LLM Feature Visualization
• Title（参考訳）: ADAPT:LLM特徴可視化のためのハイブリッドプロンプト最適化
• Authors: João N. Cardoso, Arlindo L. Oliveira, Bruno Martins,
• Abstract要約: ADAPTはビームサーチと適応勾配誘導突然変異を組み合わせたハイブリッド手法である。 ADAPTは、レイヤと潜伏型をまたいだ先行メソッドよりも一貫して優れていることを示す。 この結果から, LLM の機能視覚化は難易度が高いが, ドメインに適した設計仮定が必要であることが確認された。
• 参考スコア（独自算出の注目度）: 4.700604993101454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding what features are encoded by learned directions in LLM activation space requires identifying inputs that strongly activate them. Feature visualization, which optimizes inputs to maximally activate a target direction, offers an alternative to costly dataset search approaches, but remains underexplored for LLMs due to the discrete nature of text. Furthermore, existing prompt optimization techniques are poorly suited to this domain, which is highly prone to local minima. To overcome these limitations, we introduce ADAPT, a hybrid method combining beam search initialization with adaptive gradient-guided mutation, designed around these failure modes. We evaluate on Sparse Autoencoder latents from Gemma 2 2B, proposing metrics grounded in dataset activation statistics to enable rigorous comparison, and show that ADAPT consistently outperforms prior methods across layers and latent types. Our results establish that feature visualization for LLMs is tractable, but requires design assumptions tailored to the domain.
• Abstract（参考訳）: LLMアクティベーション空間における学習方向によって符号化される特徴を理解するには、強くアクティベートする入力を特定する必要がある。 入力を最適化してターゲット方向を最大に活性化する特徴視覚化は、コストのかかるデータセット検索の代替手段を提供するが、テキストの離散的な性質のため、LLMでは未探索のままである。 さらに、既存のプロンプト最適化手法はこの領域にはあまり適さないが、これは局所最小化に非常に適している。 これらの制限を克服するために,ビームサーチの初期化と適応的勾配誘導突然変異を組み合わせたハイブリッド手法ADAPTを導入する。 Gemma 2 2Bのスパースオートエンコーダの潜在値について評価し、データセットのアクティベーション統計に基づくメトリクスを提案し、厳密な比較を可能にした。 この結果から, LLM の機能視覚化は難易度が高いが, ドメインに適した設計仮定が必要であることが確認された。

関連論文リスト

• AsynDBT: Asynchronous Distributed Bilevel Tuning for efficient In-Context Learning with Large Language Models [4.4866154758274375]
  In-context Learning (ICL) は、LLMが入力内で提供される例を使って新しいタスクに適応できる有望なパラダイムとして登場した。 ICLを組み込んだ以前のFLアプローチは、重度のストラグラー問題と、異種非同一データに関連する課題に悩まされてきた。 本稿では,LLMからのフィードバックに基づいて,文脈内学習サンプルの最適化とフラグメントのプロンプトを行う非同期分散バイレベルチューニング(AsynDBT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-06T13:07:49Z)
• SOCRATES: Simulation Optimization with Correlated Replicas and Adaptive Trajectory Evaluations [25.18297372152296]
  SOCRATESは、調整されたSOアルゴリズムの設計を自動化する新しい2段階のプロシージャである。 実システムのデジタルレプリカのアンサンブルは、ベースラインSOアルゴリズムのセットを評価するテストベッドとして使用される。 LLMはメタ最適化器として機能し、これらのアルゴリズムのパフォーマンストラジェクトリを分析して、最終的なハイブリッド最適化スケジュールを反復的に修正し構成する。
  論文  参考訳（メタデータ） (2025-11-01T19:57:38Z)
• Adaptive Guidance Semantically Enhanced via Multimodal LLM for Edge-Cloud Object Detection [9.198326035948613]
  本稿では,適応誘導に基づくエッジクラウド協調オブジェクト検出手法を提案する。 レイテンシを79%以上削減し、低照度で非常に隠蔽されたシーンでは計算コストを70%削減できる。
  論文  参考訳（メタデータ） (2025-09-24T08:25:37Z)
• When marine radar target detection meets pretrained large language models [19.91452033424555]
  機能前処理を大規模言語モデル(LLM)と統合するフレームワークを提案する。 我々の前処理モジュールは、レーダシーケンスの特徴をトークン化し、不定形セグメントをフィルタリングするためにパッチ選択アルゴリズムを適用し、選択したパッチを事前訓練されたLLMの特徴空間と互換性のある埋め込みに投影する。 実験により,提案手法は教師あり学習試験における最先端のベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-09-15T16:38:13Z)
• SMITE: Enhancing Fairness in LLMs through Optimal In-Context Example Selection via Dynamic Validation [6.853912853826401]
  本研究では,Large Language Models(LLMs)の性能と公平性を高める新しいアプローチを提案する。 本稿では,従来の静的検証手法を代替して,テストセットと並行して進化する動的検証セットを提案する。 提案手法は,ベースライン法と比較して予測精度と公平性の両方を有意に向上させることを示す。
  論文  参考訳（メタデータ） (2025-08-25T07:22:08Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
  リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。 合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。 我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-08-18T14:25:44Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。