論文の概要: Opening the Black Box: Preliminary Insights into Affective Modeling in Multimodal Foundation Models

• arxiv url: http://arxiv.org/abs/2601.15906v1
• Date: Thu, 22 Jan 2026 12:34:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.597657
• Title: Opening the Black Box: Preliminary Insights into Affective Modeling in Multimodal Foundation Models
• Title（参考訳）: ブラックボックスのオープン:マルチモーダルファンデーションモデルにおける影響モデリングに関する予備的考察
• Authors: Zhen Zhang, Runhao Zeng, Sicheng Zhao, Xiping Hu,
• Abstract要約: マルチモーダル基礎モデルにおける情緒的モデリングの体系的メカニズムについて述べる。 私たちの結果は、一貫して明確で堅牢なパターンを明らかにします。 textttgate_projは、感情モデリングの中心的なアーキテクチャの軌跡である。
• 参考スコア（独自算出の注目度）: 38.34082435363237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding where and how emotions are represented in large-scale foundation models remains an open problem, particularly in multimodal affective settings. Despite the strong empirical performance of recent affective models, the internal architectural mechanisms that support affective understanding and generation are still poorly understood. In this work, we present a systematic mechanistic study of affective modeling in multimodal foundation models. Across multiple architectures, training strategies, and affective tasks, we analyze how emotion-oriented supervision reshapes internal model parameters. Our results consistently reveal a clear and robust pattern: affective adaptation does not primarily focus on the attention module, but instead localizes to the feed-forward gating projection (\texttt{gate\_proj}). Through controlled module transfer, targeted single-module adaptation, and destructive ablation, we further demonstrate that \texttt{gate\_proj} is sufficient, efficient, and necessary for affective understanding and generation. Notably, by tuning only approximately 24.5\% of the parameters tuned by AffectGPT, our approach achieves 96.6\% of its average performance across eight affective tasks, highlighting substantial parameter efficiency. Together, these findings provide empirical evidence that affective capabilities in foundation models are structurally mediated by feed-forward gating mechanisms and identify \texttt{gate\_proj} as a central architectural locus of affective modeling.
• Abstract（参考訳）: 大規模な基盤モデルで感情がどのように表現されるかを理解することは、特にマルチモーダルな感情的設定において、オープンな問題である。 近年の情緒的モデルにおいて、強い経験的性能にもかかわらず、感情的理解と生成を支援する内部構造メカニズムはいまだに理解されていない。 本研究では,マルチモーダル基礎モデルにおける情動モデリングの体系的機構について述べる。 複数のアーキテクチャ、トレーニング戦略、情緒的なタスクにまたがって、感情指向の監督が内部モデルパラメータをどのように再認識するかを分析します。 感情適応は主にアテンションモジュールに焦点を当てるのではなく、フィードフォワードゲーティングプロジェクション(\texttt{gate\_proj})にローカライズする。 さらに, 制御モジュール転送, 単一モジュール適応, 破壊的アブレーションを通じて, 感情的理解と生成に必要となる, 十分かつ効率的であることを示す。 特に,AffectGPTによって調整されたパラメータの約24.5\%をチューニングすることで,8つの感情的タスクの平均性能の96.6\%を達成し,パラメータ効率を著しく向上させる。 これらの知見は、基礎モデルの感情能力がフィードフォワードゲーティング機構によって構造的に媒介されているという実証的証拠を提供し、感情モデルの中心的なアーキテクチャの軌跡として \texttt{gate\_proj} を同定する。

関連論文リスト

• An Integrated Fusion Framework for Ensemble Learning Leveraging Gradient Boosting and Fuzzy Rule-Based Models [59.13182819190547]
  ファジィ規則に基づくモデルは解釈可能性に優れ、様々な分野に広く応用されている。 複雑な設計仕様や大規模データセットのスケーラビリティといった課題に直面している。 本稿では,モデル性能と解釈可能性を高めるために,両パラダイムの強みを融合した統合統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-11T10:28:23Z)
• Pool Me Wisely: On the Effect of Pooling in Transformer-Based Models [7.244206185339429]
  本稿では,広く利用されているプール方式を備えたトランスフォーマーベースモデルの表現性を特徴付ける理論的枠組みを提案する。 グローバルな文脈理解とローカルな文脈理解の両方を必要とするタスクにまたがるプール戦略を実証的に評価する。 本研究は理論的・実証的な視点を統一し,特定のタスクに適したプール機構の選択や設計のための実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-10-02T11:17:24Z)
• Hardness, Structural Knowledge, and Opportunity: An Analytical Framework for Modular Performance Modeling [9.1773311943941]
  ハードネス」は、パフォーマンスモデリングの固有の難しさとして定義される。 モデリングの難しさは、主にモジュール数とモジュールごとの設定オプションによって引き起こされることを示す。 構造知識の高レベル化とモデリング難易度の向上が,改善の機会を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2025-09-13T22:52:10Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Offline Model-Based Optimization: Comprehensive Review [61.91350077539443]
  オフライン最適化は、オフラインデータセットのみを使用してブラックボックス機能の最適化を目標とする、科学とエンジニアリングの基本的な課題である。 モデルベース最適化の最近の進歩は、オフライン固有の代理モデルと生成モデルを開発するために、ディープニューラルネットワークの一般化能力を活用している。 科学的な発見を加速させる効果が増大しているにもかかわらず、この分野は包括的なレビューを欠いている。
  論文  参考訳（メタデータ） (2025-03-21T16:35:02Z)
• Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities [4.389938747401259]
  本研究は、材料科学や工学などの分野における大規模言語モデル(LLM)に対する微調整戦略の効果について考察する。 複数の微調整モデルの融合は、親モデルの個々の貢献を超越した能力の出現につながる可能性がある。
  論文  参考訳（メタデータ） (2024-09-05T11:49:53Z)
• Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity Tracking [53.66999416757543]
  本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。 微調整はモデルの機械的操作を変えるのではなく、強化する。
  論文  参考訳（メタデータ） (2024-02-22T18:59:24Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。