論文の概要: FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities
- arxiv url: http://arxiv.org/abs/2608.05611v1
- Date: Thu, 06 Aug 2026 05:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.822715
- Title: FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities
- Title(参考訳): FOCUS: LLMのエキスパートペルソナを分離してドメインエキスパートの能力を高める
- Abstract要約: 大規模言語モデルにおけるクロスドメイン結合に対処するため, FOCUS (textbfunderlineFine-tuning with textbfunderline Orthogonal textbfunderlineControl for textbfunderlineControl for textbfunderlineControl for textbfunderlineControl for textbfunderlineS)を提案する。
金融、法律、医療、クロスドメインベンチマークの実験は、FOCUSがタスクの正確性を改善し、既存のペルソナ制御方法より優れていることを示している。
- 参考スコア(独自算出の注目度): 6.226701150902806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) can exhibit diverse personas, and activating expert personas has been shown to improve domain expertise and task accuracy. However, existing persona control methods often suffer from cross-domain coupling, which may lead to overly aggressive behavior in high-caution domains such as healthcare, or excessive conservatism in risk-sensitive domains such as financial trading. To address this issue, we propose FOCUS (\textbf{\underline{F}}ine-tuning with \textbf{\underline{O}}rthogonal \textbf{\underline{C}}ontrol for \textbf{\underline{U}}ncoupled persona\textbf{\underline{S}}). FOCUS first automatically extracts expert persona vectors from LLMs, then applies orthogonal decomposition to decouple domain-specific expert personas, and finally introduces an expert gating module to adaptively control persona activation according to task contexts. With a two-stage training strategy and a gated selection regularizer, the model learns to activate appropriate personas for both single-domain and cross-domain tasks. Experiments on financial, legal, medical, and cross-domain benchmarks show that FOCUS improves task accuracy and outperforms existing persona control methods. Our code is available at \href{https://anonymous.4open.science/r/openpersona-48F4}{this url}.
- Abstract(参考訳): 大きな言語モデル(LLM)は多様なペルソナを示し、ドメインの専門知識とタスクの正確性を改善するために専門家ペルソナを活性化する。
しかし、既存のペルソナ管理手法は、しばしばクロスドメイン結合に悩まされるため、医療などの高注意領域や、金融取引などのリスクに敏感な領域における過剰な保守主義といった過度に攻撃的な行動を引き起こす可能性がある。
この問題に対処するため, FOCUS (\textbf{\underline{F}}ine-tuning with \textbf{\underline{O}}rthogonal \textbf{\underline{C}}ontrol for \textbf{\underline{U}}ncoupled persona\textbf{\underline{S}} を提案する。
FOCUSはまず、LSMから専門家ペルソナベクトルを自動的に抽出し、次に直交分解を用いてドメイン固有の専門家ペルソナを分離し、最後にタスクコンテキストに応じてペルソナアクティベーションを適応的に制御する専門家ゲーティングモジュールを導入する。
2段階のトレーニング戦略とゲート選択正規化器により、モデルは単一ドメインタスクとクロスドメインタスクの両方に適切なペルソナを活性化する。
金融、法律、医療、クロスドメインベンチマークの実験は、FOCUSがタスクの正確性を改善し、既存のペルソナ制御方法より優れていることを示している。
我々のコードは \href{https://anonymous.4open.science/r/openpersona-48F4}{this url} で公開されている。
関連論文リスト
- Capability Conditioned Scaffolding for Professional Human LLM Collaboration [2.8957361395642853]
私たちは、専門知識を強力で混合的で弱いドメインに分割するタイプドフレームワーク、Capability Conditioned Scaffoldingを紹介します。
パイロット評価では、プロファイルスワップ下のカテゴリー反転や混合ドメインリスクゾーンの選択的活性化など、一貫したプロファイル条件付き介入行動を示す。
これらの結果は、足場を認識する能力は、スタイリスティックなパーソナライゼーションを超えて、より信頼性の高い専門家のAIコラボレーションを支援することを示唆している。
論文 参考訳(メタデータ) (2026-05-14T20:42:03Z) - Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。
これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。
有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
論文 参考訳(メタデータ) (2026-03-02T22:01:08Z) - Token-Level LLM Collaboration via FusionRoute [60.72307345997823]
FusionRouteはトークンレベルのマルチLLMコラボレーションフレームワークである。
各デコーディングステップで最も適した専門家を選択し、選択した専門家の次のTokenディストリビューションを洗練または修正する補完ロジットをコントリビュートする。
シーケンスレベルのコラボレーションとトークンレベルのコラボレーション、モデルマージ、ダイレクト微調整の両方に優れています。
論文 参考訳(メタデータ) (2026-01-08T16:53:16Z) - LLM-EDT: Large Language Model Enhanced Cross-domain Sequential Recommendation with Dual-phase Training [53.539682966282534]
クロスドメインシーケンスレコメンデーション (CDSR) は、様々なドメインからの情報を取り入れることで、ユーザとイテムのインタラクションを強化するために提案されている。
現在の進歩にもかかわらず、不均衡問題と移行問題はCDSRのさらなる発展を妨げる。
デュアルフェーズトレーニング(LLM-EDT)によるLLMの拡張型クロスドメインシーケンスレコメンデーションを提案する。
論文 参考訳(メタデータ) (2025-11-25T05:18:04Z) - Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift [62.50795372173394]
我々は,ライダーポイント雲のセマンティックセグメンテーションのための教師なし領域適応において,視覚基盤モデル(VFM)を利用したレシピの同定を行う。
その結果、パイプラインは4つの広く認識され、困難な設定で、最先端の結果を達成する。
論文 参考訳(メタデータ) (2025-11-21T17:57:43Z) - From IDs to Semantics: A Generative Framework for Cross-Domain Recommendation with Adaptive Semantic Tokenization [3.4546102059619526]
クロスドメインレコメンデーションは、レコメンデーションの精度と一般化を改善するために不可欠である。
多くの取り組みは、ドメインギャップを埋めるために、マルチドメインのジョイントトレーニングを通じて、絡み合った表現を学ぶことに重点を置いている。
最近のLarge Language Model(LLM)ベースのアプローチは、将来性を示しているが、それでも重要な課題に直面している。
textbfGenerative textbfCross-textbfDomain textbfRecommendation frameworkを提案する。
論文 参考訳(メタデータ) (2025-11-11T09:10:40Z) - UCB-type Algorithm for Budget-Constrained Expert Learning [71.67657715154034]
algnameM-LCBはUCBスタイルのメタアルゴリズムであり、幻想的後悔の保証を提供する
我々は、AlgnameM-LCBが、限られたリソースの下で、ステートフルで自己学習の専門家をコーディネートする、より現実的なシナリオまで、古典的な帯域幅パラダイムをどのように拡張しているかを示す。
論文 参考訳(メタデータ) (2025-10-26T12:36:17Z) - DADM: Dual Alignment of Domain and Modality for Face Anti-spoofing [58.62312400472865]
マルチモーダル・フェイス・アンチ・スプーフィング (FAS) が顕著な研究対象となっている。
相互情報に基づくモダリティ間のアライメントモジュールを提案する。
サブドメイン超平面とモダリティ角マージンの両方を整列する双対アライメント最適化法を用いる。
論文 参考訳(メタデータ) (2025-03-01T10:12:00Z) - Efficiently Assemble Normalization Layers and Regularization for Federated Domain Generalization [1.1534313664323637]
ドメインシフト(Domain shift)は、マシンラーニングにおいて、目に見えないドメインでテストした場合に、モデルのパフォーマンス低下に悩まされるという深刻な問題である。
FedDGは、プライバシー保護の方法で協調的なクライアントを使用してグローバルモデルをトレーニングしようと試みている。
本稿では, 誘導正規化方式に依存するFedDGの新しいアーキテクチャ手法,すなわちgPerXANを紹介する。
論文 参考訳(メタデータ) (2024-03-22T20:22:08Z) - BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation [59.1863462632777]
連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。
本稿では,CTTAの入力依存かつ効率的なモジュール化フレームワークであるBECoTTAを提案する。
提案手法は, トレーニング可能なパラメータを98%少なく抑えながら, 整合性や漸進性などの複数のCTTAシナリオに優れることを確認した。
論文 参考訳(メタデータ) (2024-02-13T18:37:53Z) - Open Domain Generalization with a Single Network by Regularization
Exploiting Pre-trained Features [37.518025833882334]
Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。
これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。
本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T16:22:10Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。