論文の概要: Enhancing Reasoning Capacity of SLM using Cognitive Enhancement

• arxiv url: http://arxiv.org/abs/2404.01135v1
• Date: Mon, 1 Apr 2024 14:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:15:37.726258
• Title: Enhancing Reasoning Capacity of SLM using Cognitive Enhancement
• Title（参考訳）: 認知機能強化によるSLMの共振性能向上
• Authors: Jonathan Pan, Swee Liang Wong, Xin Wei Chia, Yidi Yuan,
• Abstract要約: 大規模言語モデル(LLM)はサイバーセキュリティ活動の自動化や、サイバー調査やデジタル法医学を含むプロセスに応用されている。 本稿では,人間が問題解決に使用する認知戦略の統合により,性能低下を軽減することを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have been applied to automate cyber security activities and processes including cyber investigation and digital forensics. However, the use of such models for cyber investigation and digital forensics should address accountability and security considerations. Accountability ensures models have the means to provide explainable reasonings and outcomes. This information can be extracted through explicit prompt requests. For security considerations, it is crucial to address privacy and confidentiality of the involved data during data processing as well. One approach to deal with this consideration is to have the data processed locally using a local instance of the model. Due to limitations of locally available resources, namely memory and GPU capacities, a Smaller Large Language Model (SLM) will typically be used. These SLMs have significantly fewer parameters compared to the LLMs. However, such size reductions have notable performance reduction, especially when tasked to provide reasoning explanations. In this paper, we aim to mitigate performance reduction through the integration of cognitive strategies that humans use for problem-solving. We term this as cognitive enhancement through prompts. Our experiments showed significant improvement gains of the SLMs' performances when such enhancements were applied. We believe that our exploration study paves the way for further investigation into the use of cognitive enhancement to optimize SLM for cyber security applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)はサイバーセキュリティ活動の自動化や、サイバー調査やデジタル法医学を含むプロセスに応用されている。 しかし、サイバー調査やデジタル法医学におけるそのようなモデルの使用は、説明責任とセキュリティ上の考慮事項に対処すべきである。 説明責任は、モデルが説明可能な推論と結果を提供する手段を持つことを保証する。 この情報は、明示的なプロンプトリクエストを通じて抽出することができる。 セキュリティ上の考慮事項としては、データ処理中に関係するデータのプライバシと機密性にも対処することが重要です。 この考慮に対処する1つのアプローチは、モデルのローカルインスタンスを使用してデータをローカルに処理することです。 ローカルに利用可能なリソースの制限、すなわちメモリとGPU能力のため、SLM(Smaller Large Language Model)が一般的に使用される。 これらのSLMはLLMに比べてパラメータが大幅に少ない。 しかし、このようなサイズ削減は、特に推論説明を提供するよう指示された場合、顕著な性能低下をもたらす。 本稿では,人間が問題解決に使用する認知戦略の統合により,性能低下を軽減することを目的とする。 我々はこれをプロンプトによる認知的強化と呼ぶ。 以上の結果から,SLMの性能向上に有意な改善が認められた。 我々は,サイバーセキュリティアプリケーションにSLMを最適化するための認知機能強化の活用について,さらなる研究の道を開くと信じている。

関連論文リスト

• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• The Early Bird Catches the Leak: Unveiling Timing Side Channels in LLM Serving Systems [26.528288876732617]
  新たなタイミング側チャネルのセットを利用して、機密システムプロンプトと他のユーザによって発行された情報を推測することができる。 これらの脆弱性は、従来のコンピューティングシステムで観察されたセキュリティ上の問題と類似している。 キャッシュ内の共有プロンプトプレフィックスを効率的に回収するトークン・バイ・トークン検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-30T06:55:00Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Defending Against Social Engineering Attacks in the Age of LLMs [19.364994678178036]
  大きな言語モデル(LLM)は、人間の会話パターンをエミュレートし、チャットベースのソーシャルエンジニアリング(CSE)攻撃を促進する。 本研究では,CSE脅威に対するファシリテーターとディフェンダーの両立能力について検討した。 メッセージレベルと会話レベルの両方の検出を改善するモジュール型ディフェンスパイプラインであるConvoSentinelを提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:39:40Z)
• Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey [43.063650238194384]
  大規模言語モデル(LLM)は,近年,大規模化と広範囲なトレーニングデータによるパフォーマンス向上を図っている。 機械学習モデルのトレーニングデータ記憶は、特にLLMに関して、モデルサイズに合わせてスケールする。 記憶されたテキストシーケンスは、LSMから直接リークされる可能性があり、データのプライバシに深刻な脅威をもたらす。
  論文  参考訳（メタデータ） (2023-09-27T15:15:23Z)
• Knowledge Sanitization of Large Language Models [4.722882736419499]
  大規模な言語モデル(LLM)は、大量のWebデータをトレーニングすることで、機密情報や機密情報を明らかにする可能性がある。 我々の手法はローランド適応法(LoRA)を用いてこれらのモデルを効率的に微調整する。 クローズドブック質問応答タスクによる実験結果から,本手法は知識リークを最小限に抑えるだけでなく,LLMの全体的な性能も維持できることがわかった。
  論文  参考訳（メタデータ） (2023-09-21T07:49:55Z)
• A Study on the Implementation of Generative AI Services Using an Enterprise Data-Based LLM Application Architecture [0.0]
  本研究では,Large Language Models (LLM) アプリケーションアーキテクチャを用いて生成AIサービスを実装する手法を提案する。 この研究は、不十分なデータの問題を軽減するための戦略を練り上げ、カスタマイズされたソリューションを提供している。 この研究の重要な貢献は、検索型拡張世代(RAG)モデルの開発である。
  論文  参考訳（メタデータ） (2023-09-03T07:03:17Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Reinforcement Learning on Encrypted Data [58.39270571778521]
  本稿では,DQNエージェントが,離散的かつ連続的な状態空間を持つ環境でどのように動作するかを予備的,実験的に検討する。 その結果,非決定論的暗号が存在する場合でも,エージェントは依然として小さな状態空間で学習することができるが,より複雑な環境では性能が低下することがわかった。
  論文  参考訳（メタデータ） (2021-09-16T21:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。