論文の概要: Prism-$Δ$: Differential Subspace Steering for Prompt Highlighting in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.10705v1
• Date: Wed, 11 Mar 2026 12:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.942677
• Title: Prism-$Δ$: Differential Subspace Steering for Prompt Highlighting in Large Language Models
• Title（参考訳）: Prism-$$$:大言語モデルにおけるプロンプトハイライトのための微分部分空間ステアリング
• Authors: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: PRISM-$ (Projection-based Relevance-Informed Steering Method) を提案する。 PRISM-$$は20種中19種で最も優れた方法であり、相対的な利得は+10.6%まで上昇し、ステアリングのコストは半減する。 PRISM-$はFlashAttentionと互換性があり、無視できるメモリオーバーヘッドを追加する。
• 参考スコア（独自算出の注目度）: 85.18197548789291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt highlighting steers a large language model to prioritize user-specified text spans during generation. A key challenge is extracting steering directions that capture the difference between relevant and irrelevant contexts, rather than shared structural patterns common to both. We propose PRISM-$Δ$ (Projection-based Relevance-Informed Steering Method), which decomposes the difference between positive and negative cross-covariance matrices to maximize discriminative energy while eliminating shared directions. Each attention head receives a continuous softplus importance weight, letting weak-but-useful heads contribute at reduced strength. The framework extends naturally to Value representations, capturing content-channel signal that Key-only methods leave unused. Across four benchmarks and five models, PRISM-$Δ$ matches or exceeds the best existing method on 19 of 20 configurations, with relative gains up to +10.6%, while halving the fluency cost of steering. PRISM-$Δ$ also scales to long-context retrieval, outperforming the best existing method by up to +4.8% relative gain. PRISM-$Δ$ is compatible with FlashAttention and adds negligible memory overhead.
• Abstract（参考訳）: Promptは、生成中にユーザ指定のテキストスパンを優先順位付けするために、大きな言語モデルをステアリングする。 重要な課題は、双方に共通する構造パターンを共有するのではなく、関連するコンテキストと無関係なコンテキストの違いをキャプチャするステアリング方向を抽出することである。 PRISM-$Δ$ (Projection-based Relevance-Informed Steering Method) を提案する。 それぞれのアテンションヘッドは、柔らかく重要な重みを連続的に受け取り、弱いが役に立たないヘッドは、強度の低下に寄与する。 フレームワークはバリュー表現に自然に拡張され、キーオンリーのメソッドが未使用のままであるコンテントチャネルシグナルをキャプチャする。 4つのベンチマークと5つのモデルのうち、PRISM-$$$$は20の構成のうち19の最も優れた既存手法を上回り、相対的な利得は+10.6%まで上昇し、ステアリングの流速コストは半減する。 PRISM-$$$はまた、長文検索にスケールし、最高の既存手法を+4.8%の相対的なゲインで上回っている。 PRISM-$$$はFlashAttentionと互換性があり、無視できるメモリオーバーヘッドを追加する。

関連論文リスト

• Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
  このモデルは、$M$armと$K$playで構成されている。 各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。 複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
  論文  参考訳（メタデータ） (2025-12-25T11:19:09Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Preference-based Reinforcement Learning beyond Pairwise Comparisons: Benefits of Multiple Options [35.41703011973504]
  オンライン嗜好に基づく強化学習(PbRL)を,サンプル効率の向上を目的として検討した。 本稿では,提案するサブセット内の平均不確実性を最大化し,複数の動作を選択するアルゴリズムであるM-AUPOを提案する。 M-AUPO が $tildemathcalOleft( fracdT sqrt sum_t=1T frac1|S_t| right)$ の準最適ギャップを達成できることを証明する。
  論文  参考訳（メタデータ） (2025-10-21T15:11:01Z)
• ResT: Reshaping Token-Level Policy Gradients for Tool-Use Large Language Models [62.82372407840088]
  大規模言語モデル(LLM)は受動的生成を超越し、外部ツールを呼び出すことで目標指向エージェントとして機能する。 textbfReshaped textbfToken-level policy gradients (textbfResT) for tool-use task。 textbfResTは最先端の結果を達成し、以前のメソッドを最大8.76%$で上回っている。
  論文  参考訳（メタデータ） (2025-09-26T03:38:27Z)
• InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion [36.27704594180795]
  InfiGFusionは、新しいtextitGraph-on-Logits Distillation (GLD)損失を持つ構造認識融合フレームワークである。 GLDは核融合品質と安定性を継続的に改善することを示す。 複雑な推論タスクでは、多段階算術において+35.6、SFT上の因果判定において+37.06が改良された。
  論文  参考訳（メタデータ） (2025-05-20T03:55:35Z)
• The Differences Between Direct Alignment Algorithms are a Blur [3.0059120458540383]
  1段階法(ORPO, ASFT)は2段階法に比べて性能が低いことを示す。 明示的なSFTフェーズで2段階のセットアップに適応させることで性能が向上することを示す。 総合的な分析により、ペアワイドとポイントワイドの目的の選択がアライメントの成功の主要な決定要因であることが判明した。
  論文  参考訳（メタデータ） (2025-02-03T10:54:14Z)
• Rodimus*: Breaking the Accuracy-Efficiency Trade-Off with Efficient Attentions [26.025283259518936]
  Rodimusは、新しいタイプの注目ベースの大規模言語モデル(LLM)である。 Rodimusは、線形アテンションベースで純粋にリカレントなフレームワーク内で、データ依存のテンプレート選択機構を採用している。 Rodimus$+$は、Rodimusと革新的なSliding Window Shared-Key Attention (SW-SKA)をハイブリッドアプローチで組み合わせている。 実験の結果,1兆トークンでトレーニングしたRodimus$+$-1.6Bは,より多くのトークンでトレーニングしたモデルに対して,より優れたダウンストリーム性能を実現することがわかった。
  論文  参考訳（メタデータ） (2024-10-09T06:22:36Z)
• Nearly Optimal Algorithms for Contextual Dueling Bandits from Adversarial Feedback [58.66941279460248]
  人からのフィードバックから学ぶことは、大言語モデル(LLM)のような生成モデルを調整する上で重要な役割を果たす 本稿では,このドメイン内のモデルについて考察する。-文脈的デュエルバンディット(contextual dueling bandits)と,正の選好ラベルを相手によって反転させることができる対向フィードバック(reversarial feedback)について考察する。 本稿では,不確実性重み付き最大推定に基づく頑健なコンテキストデュエルバンドイット(RCDB)を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。