論文の概要: ProSwitch: Knowledge-Guided Instruction Tuning to Switch Between Professional and Non-Professional Responses
- arxiv url: http://arxiv.org/abs/2403.09131v5
- Date: Thu, 12 Dec 2024 09:22:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 15:57:55.719147
- Title: ProSwitch: Knowledge-Guided Instruction Tuning to Switch Between Professional and Non-Professional Responses
- Title（参考訳）: ProSwitch: プロフェッショナルと非プロフェッショナルの反応を切り替えるための知識指導型インストラクションチューニング
- Authors: Chang Zong, Yuyan Chen, Weiming Lu, Jian Shao, Yongfeng Huang, Heng Chang, Yueting Zhuang,
- Abstract要約: 大規模言語モデル (LLM) は様々な言語応用において有効であることを示す。
本研究では,プロと非プロの回答を言語モデルで切り替える,ProSwitchという新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 56.949741308866535
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated efficacy in various linguistic applications, including question answering and controlled text generation. However, studies into their ability to switch between opposite styles of responses in professional domains remain underexplored. This study introduces a novel approach, named ProSwitch, which enables a language model to switch between professional and non-professional answers, by tuning and evaluating through the guidance of domain and style knowledge. ProSwitch unfolds in three phases: LLM-augmented preparation to collect domain knowledge and QA pairs, instruction tuning to optimize LLMs with multiple levels of knowledge, and comprehensive evaluation to assess both style discrimination and reference-based quality of the generated text. Comparative analysis of ProSwitch against general and specialized LLMs reveals that our approach outperforms baselines in switching between professional and non-professional responses.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、質問応答や制御されたテキスト生成など、様々な言語応用において有効であることを示した。
しかし、プロのドメインにおいて、逆の応答スタイルを切り替える能力についての研究は、いまだに過小評価されている。
そこで本研究では,ドメインとスタイルの知識の指導を通じて,言語モデルがプロフェッショナルと非プロフェッショナルの回答を切り替えることのできる,ProSwitchという新しいアプローチを提案する。
ProSwitchは、ドメイン知識とQAペアを収集するためのLLM拡張準備、複数のレベルの知識でLLMを最適化するための命令チューニング、生成されたテキストのスタイル識別と参照ベースの品質の両方を評価するための包括的な評価の3段階に展開する。
ProSwitchの一般および専門LLMとの比較分析により,プロと非プロの反応の切り替えにおいて,本手法がベースラインを上回っていることが判明した。
関連論文リスト
- A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model [54.14155564592936]
大規模言語モデル(MoRE-LLM)によるルールエキスパートの混合を提案する。
MoRE-LLMは、トレーニング中の局所的なルールベースのサロゲートの発見と、それらの分類タスクの利用を操縦する。
LLMはルールを修正・コンテキスト化することで、ルールのドメイン知識の整合性を高める役割を担います。
論文 参考訳（メタデータ） (2025-03-26T11:09:21Z) - Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey [39.82566660592583]
大規模言語モデル(LLM)は、自然言語理解、テキスト要約、機械翻訳といった様々なタスクにおいて顕著な成功を収めている。
彼らの汎用的な性質は、医療、化学、法的な分析といった専門的な知識を必要とするドメイン固有のアプリケーションにおいて、その効果を制限していることが多い。
これを解決するために、研究者はドメイン固有の知識を統合することでLLMを強化する様々な方法を模索してきた。
論文 参考訳（メタデータ） (2025-02-15T07:43:43Z) - Probing Large Language Models in Reasoning and Translating Complex Linguistic Puzzles [0.6144680854063939]
本稿では,複雑な言語パズルの解法としてLarge Language Models (LLMs) を用いる。
パズリングマシンコンペティションと各種言語オリンピアードのデータセットを用いて、GPT-4 0603の性能を評価する。
論文 参考訳（メタデータ） (2025-02-02T14:53:14Z) - Boosting Code-Switching ASR with Mixture of Experts Enhanced Speech-Conditioned LLM [1.3089936156875277]
我々は,Mixture of Experts (MoE) ベースのコネクタと統合された音声条件付き大規模言語モデル (LLM) を提案する。
音声認識タスクへのLLMのテキスト生成能力を向上するためのIDIT機構を提案する。
また、複数の言語を効率的に管理するMoEアーキテクチャとのコネクタも提示する。
論文 参考訳（メタデータ） (2024-09-24T09:20:22Z) - Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。
具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。
次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
論文 参考訳（メタデータ） (2024-07-14T17:18:16Z) - Exploring Advanced Large Language Models with LLMsuite [1.2058143465239939]
このチュートリアルでは、大規模言語モデルの開発における進歩と課題について説明する。
Retrieval Augmented Generation (RAG)、Program-Aided Language Models (PAL)、ReActやLangChainといったフレームワークなどのソリューションを提案する。
論文 参考訳（メタデータ） (2024-07-01T05:37:17Z) - Human-AI Collaborative Taxonomy Construction: A Case Study in Profession-Specific Writing Assistants [17.088117195986758]
LLM(Large Language Models)は、テキストのリビジョンやストーリー生成など、複数の作業において人間を支援する。
本稿では,ドメイン固有書記アシスタントのガイドラインとして,人間とAIの連携による分類学開発手法を提案する。
論文 参考訳（メタデータ） (2024-06-26T18:25:06Z) - CourseGPT-zh: an Educational Large Language Model Based on Knowledge Distillation Incorporating Prompt Optimization [22.080563239179618]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて驚くべき機能を示している。
我々は、カスタマイズと低コストな展開をサポートするコース指向LLMであるCourseGPT-zhを提案する。
論文 参考訳（メタデータ） (2024-05-08T03:11:12Z) - Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。
革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。
LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-04-18T08:01:20Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳（メタデータ） (2024-02-29T21:05:37Z) - Towards Understanding Counseling Conversations: Domain Knowledge and
Large Language Models [22.588557390720236]
本稿では,カウンセリング会話をより良く表現するために,ドメイン知識と大規模言語モデル(LLM)の有効性を検討するための体系的なアプローチを提案する。
本稿では,トランスフォーマーモデルやGPTモデルのような最先端言語モデルは,会話結果の予測に失敗することを示す。
論文 参考訳（メタデータ） (2024-02-22T01:02:37Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳（メタデータ） (2024-02-19T07:45:17Z) - Tapping the Potential of Large Language Models as Recommender Systems: A Comprehensive Framework and Empirical Analysis [91.5632751731927]
ChatGPTのような大規模言語モデルは、一般的なタスクを解く際、顕著な能力を示した。
本稿では,レコメンデーションタスクにおけるLLMの活用のための汎用フレームワークを提案し,レコメンデーションタスクとしてのLLMの機能に着目した。
提案手法は,提案手法が推薦結果に与える影響を解析し,提案手法とモデルアーキテクチャ,パラメータスケール,コンテキスト長について検討する。
論文 参考訳（メタデータ） (2024-01-10T08:28:56Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - A Practical Survey on Zero-shot Prompt Design for In-context Learning [0.0]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクを大幅に改善した。
本稿では,異なる種類のプロンプトに着目した,コンテキスト内学習手法の総合的なレビューを行う。
本稿では,手動設計や最適化アルゴリズム,評価手法など,設計を促すための様々なアプローチについて検討する。
論文 参考訳（メタデータ） (2023-09-22T23:00:34Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。
本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。
具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。
ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
論文 参考訳（メタデータ） (2023-05-22T13:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。