論文の概要: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

• arxiv url: http://arxiv.org/abs/2510.10157v1
• Date: Sat, 11 Oct 2025 10:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.815986
• Title: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
• Title（参考訳）: BILLY: 創造的生成のためのペルソナベクトルの統合による大規模言語モデルのステアリング
• Authors: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang,
• Abstract要約: BILLY (BlendIng persona vectors for Large Language model creativitY) をマルチLLMコラボレーションのためのトレーニングフリーフレームワークとして提案する。 モデル生成過程をこの統合ベクタを用いて推論し、明示的なマルチLLM通信を伴わずにマルチパースペクティブ出力を実現する。
• 参考スコア（独自算出の注目度）: 84.11902911165323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
• Abstract（参考訳）: マルチLLMシステムは、人間の集合的知性をシミュレートすることで、大規模言語モデルの創造性を向上するが、高い計算コストや推論遅延といった大きな欠点に悩まされる。 このような制約に対処するため,多言語協調の利点を捉えた学習自由フレームワークであるBILLY(BlendIng persona vectors for Large Language model creativitY)を1つのモデルで提案する。 BILLYは、モデルのアクティベーション空間において、複数の異なるペルソナベクトルを直接抽出してブレンドすることによって動作する。 モデル生成過程をこの統合ベクタを用いて推論し、明示的なマルチLLM通信を伴わずにマルチパースペクティブ出力を実現する。 クリエイティビティ指向のベンチマークを用いて行った実験では,BILLYが単一モデルや従来のマルチLLMアプローチを超越し,推論時間や計算コストを大幅に削減することを示した。 さらに, 生成の相補的な側面を効果的に制御し, 解釈可能性を高めるために, 個別のペルソナベクトルをブレンドできることを明らかにした。

関連論文リスト

• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• HaploVL: A Single-Transformer Baseline for Multi-Modal Understanding [67.24430397016275]
  そこで本稿では,マルチモーダル入力を早期に融合し,自動回帰方式で視覚的指示に応答できる新しいアーリーフュージョンLMMを提案する。 提案モデルでは,1つの変圧器を用いた他のLMMと比較して優れた性能を示し,合成LMMによる性能ギャップを著しく狭めている。
  論文  参考訳（メタデータ） (2025-03-12T06:01:05Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• COLLAGE: Collaborative Human-Agent Interaction Generation using Hierarchical Latent Diffusion and Language Models [14.130327598928778]
  大規模言語モデル (LLMs) と階層型運動固有ベクトル量子化変分オートエンコーダ (VQ-VAEs) を提案する。 我々のフレームワークは、現実的で多様な協調的な人間-オブジェクト-ヒューマンインタラクションを生成し、最先端の手法より優れています。 我々の研究は、ロボット工学、グラフィックス、コンピュータビジョンなど、様々な領域における複雑な相互作用をモデリングする新たな可能性を開く。
  論文  参考訳（メタデータ） (2024-09-30T17:02:13Z)
• VL-Mamba: Exploring State Space Models for Multimodal Learning [22.701028299912398]
  本研究では,状態空間モデルに基づく多モーダル大規模言語モデルであるVL-Mambaを提案する。 具体的には、まず、LLamaやVicunaのようなトランスフォーマーベースのバックボーン言語モデルを、事前訓練されたMamba言語モデルに置き換える。
  論文  参考訳（メタデータ） (2024-03-20T13:48:50Z)
• Unlock the Power: Competitive Distillation for Multi-Modal Large Language Models [17.25135606956287]
  競合型マルチモーダル蒸留フレームワーク(CoMD)は,教師モデルと学生モデル間の双方向フィードバックをキャプチャする。 多様なデータセットを実験的に分析した結果,我々の知識伝達手法は学生モデルの性能を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2023-11-14T14:49:46Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Multimodal Generative Learning Utilizing Jensen-Shannon-Divergence [20.23920009396818]
  本稿では,Jensen-Shannon分散を複数の分布に利用した,新しい,効率的な目的関数を提案する。 同時に、動的前駆体を介して一方向と関節の多モード後駆体を直接近似する。 広汎な実験では、教師なし・生成学習タスクにおける従来の研究と比較して、提案したmmJSDモデルの利点を実証する。
  論文  参考訳（メタデータ） (2020-06-15T09:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。