論文の概要: EnSToM: Enhancing Dialogue Systems with Entropy-Scaled Steering Vectors for Topic Maintenance

• arxiv url: http://arxiv.org/abs/2505.16526v1
• Date: Thu, 22 May 2025 11:12:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.246409
• Title: EnSToM: Enhancing Dialogue Systems with Entropy-Scaled Steering Vectors for Topic Maintenance
• Title（参考訳）: EnSToM: トピックメンテナンスのためのエントロピースケールステアリングベクトルを用いた対話システムの実現
• Authors: Heejae Suh, Yejin Jeon, Deokhyung Kang, Taehee Park, Yejin Min, Gary Geunbae Lee,
• Abstract要約: 小さい大きな言語モデル(sLLM)は、タスク指向の対話システムにおいてトピックの一貫性を維持するのにしばしば苦労する。 トピックメンテナンスのためのエントロピースケールステアリングベクトル(EnSToM)と呼ばれる新しいアプローチを提案する。 EnSToMは入力の不確実性に基づいて操舵強度を動的に調整するので、モデルがオフトピー的イントラクタを効果的に扱うことができる。
• 参考スコア（独自算出の注目度）: 4.095759108304108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small large language models (sLLMs) offer the advantage of being lightweight and efficient, which makes them suitable for resource-constrained environments. However, sLLMs often struggle to maintain topic consistency in task-oriented dialogue systems, which is critical for scenarios such as service chatbots. Specifically, it is important to ensure that the model denies off-topic or malicious inputs and adheres to its intended functionality so as to prevent potential misuse and uphold reliability. Towards this, existing activation engineering approaches have been proposed to manipulate internal activations during inference. While these methods are effective in certain scenarios, our preliminary experiments reveal their limitations in ensuring topic adherence. Therefore, to address this, we propose a novel approach termed Entropy-scaled Steering vectors for Topic Maintenance (EnSToM). EnSToM dynamically adjusts the steering intensity based on input uncertainty, which allows the model to handle off-topic distractors effectively while preserving on-topic accuracy. Our experiments demonstrate that EnSToM achieves significant performance gain with a relatively small data size compared to fine-tuning approaches. By improving topic adherence without compromising efficiency, our approach provides a robust solution for enhancing sLLM-based dialogue systems.
• Abstract（参考訳）: 小型の大規模言語モデル(sLLM)は、軽量で効率的な利点を提供するため、リソース制約のある環境に適している。 しかし、sLLMはタスク指向の対話システムにおいてトピックの一貫性を維持するのに苦労することが多い。 具体的には、モデルがオフトピーや悪意のある入力を否定し、その意図した機能に固執して、潜在的な誤用を防止し、信頼性を維持することが重要である。 これに向けて、推論中に内部アクティベーションを操作するための既存のアクティベーションエンジニアリングアプローチが提案されている。 これらの手法は特定のシナリオにおいて有効であるが、予備実験ではトピックの付着を保証するための限界を明らかにした。 そこで本研究では,トピック保守のためのエントロピースケールステアリングベクトル(EnSToM)という新しいアプローチを提案する。 EnSToMは入力の不確実性に基づいて操舵強度を動的に調整し、オントピー的精度を維持しながら、オフトピー的トラクタを効果的に扱うことができる。 実験により,EnSToMは微調整のアプローチに比べて,比較的小さなデータサイズで大幅な性能向上を実現していることが示された。 提案手法は,効率を損なうことなくトピックの付着性を改善することにより,sLLMに基づく対話システムを強化するための堅牢なソリューションを提供する。

関連論文リスト

• Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
  高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。 1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。 本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
  論文  参考訳（メタデータ） (2025-05-10T12:58:15Z)
• UP-dROM : Uncertainty-Aware and Parametrised dynamic Reduced-Order Model, application to unsteady flows [27.50487430169627]
  還元次数モデル(ROM)は、低コストな予測を提供することによって流体力学において重要な役割を果たす。 ROMが広く適用されるためには、異なる体制にまたがってうまく一般化するだけでなく、その予測に対する信頼度も測らなければならない。 過渡流に特化して設計された非線形還元戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-29T22:17:36Z)
• Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
  大規模言語モデル(LLM)の重大な脆弱性について検討する。 この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。 本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Refining Input Guardrails: Enhancing LLM-as-a-Judge Efficiency Through Chain-of-Thought Fine-Tuning and Alignment [2.9775785740619254]
  大きな言語モデル(LLM)は、会話型AI製品など、さまざまなアプリケーションで価値のある機能を示す。 悪意のあるユーザインタラクションに対する脆弱性を軽減することで、これらの製品のセキュリティと信頼性を確保することが最重要である。 入力モデレーションガードレールとして機能する異なるLDMの微調整およびCoT応答の調整の有効性について検討した。
  論文  参考訳（メタデータ） (2025-01-22T18:40:57Z)
• RobustFT: Robust Supervised Fine-tuning for Large Language Models under Noisy Response [23.45168175163634]
  監視された微調整(SFT)は、特定のドメインやタスクに大規模言語モデル(LLM)を適用する上で重要な役割を果たす。 本稿では,下流のタスクデータに対してノイズ検出とレバーベリングを行う頑健なSFTフレームワーク(RobustFT)を提案する。 5つのデータセットにわたる複数のLLMで実施された大規模な実験は、ノイズの多いシナリオにおけるRobostFTの例外的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-19T15:00:18Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。