論文の概要: Layer-Aware Embedding Fusion for LLMs in Text Classifications

• arxiv url: http://arxiv.org/abs/2504.05764v1
• Date: Tue, 08 Apr 2025 07:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:30:24.371069
• Title: Layer-Aware Embedding Fusion for LLMs in Text Classifications
• Title（参考訳）: テキスト分類におけるLCMの層別埋め込み
• Authors: Jiho Gwak, Yuchul Jung,
• Abstract要約: 層認識型埋め込み選択法を提案し, 異なる層を定量的に評価し, 下流のNLPタスクにおいて最も重要なものを特定する方法について検討する。 4つの英語テキスト分類データセットの実験により、LLMの異なる層は、分類のための表現力の度合いが異なることが示された。 また、モデル微調整を必要とせず、複数のLLMからの埋め込みを組み合わせることで、パフォーマンスが向上する可能性についても検討する。
• 参考スコア（独自算出の注目度）: 1.4250487522292254
• License:
• Abstract: Embedding fusion has emerged as an effective approach for enhancing performance across various NLP tasks. However, systematic guidelines for selecting optimal layers and developing effective fusion strategies for the integration of LLMs remain underexplored. In this study, we propose a layer-aware embedding selection method and investigate how to quantitatively evaluate different layers to identify the most important ones for downstream NLP tasks, showing that the critical layers vary depending on the dataset. We also explore how combining embeddings from multiple LLMs, without requiring model fine-tuning, can improve performance. Experiments on four English text classification datasets (SST-2, MR, R8, and R52) demonstrate that different layers in LLMs exhibit varying degrees of representational strength for classification, and that combining embeddings from different models can enhance performance if the models exhibit complementary characteristics. Additionally, we discuss resources overhead (memory and inference time) to provide a balanced perspective on the real world feasibility of embedding fusion. Future work will explore multilingual and domain specific datasets, as well as techniques for automating layer selection, to improve both performance and scalability.
• Abstract（参考訳）: 埋め込み融合は様々なNLPタスクのパフォーマンス向上に有効なアプローチとして現れてきた。 しかし, 最適層選択のための体系的ガイドラインや, LLMの統合のための効果的な融合戦略の開発については, 未検討のままである。 本研究では, 各層を定量的に評価し, 下流のNLPタスクにおいて重要な要素を識別する方法を考察し, 重要な層がデータセットによって異なることを示す。 また、モデルの微調整を必要とせず、複数のLLMからの埋め込みを組み合わせることで、パフォーマンスが向上する可能性についても検討する。 4つの英語テキスト分類データセット(SST-2, MR, R8, R52)の実験では、LLMの異なる層は分類の表現力の程度が異なることを示し、モデルが相補的特性を示す場合、異なるモデルからの埋め込みを組み合わせることで性能が向上することを示した。 さらに, 資源のオーバーヘッド(メモリと推論時間)を議論し, 埋込核融合の実現可能性のバランスのとれた視点を提供する。 今後は、多言語およびドメイン固有のデータセットと、レイヤ選択を自動化する技術について検討し、パフォーマンスとスケーラビリティの両方を改善する予定である。

関連論文リスト

• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• F$^3$OCUS -- Federated Finetuning of Vision-Language Foundation Models with Optimal Client Layer Updating Strategy via Multi-objective Meta-Heuristics [8.577808901433]
  微調整において最も重要なVLM層を選択するクライアント固有の層重み付けスコアであるtextitviz. が与える影響について述べる。 本稿では,F$3$OCUSと呼ばれる新しいレイヤ更新戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-17T21:54:57Z)
• AVSS: Layer Importance Evaluation in Large Language Models via Activation Variance-Sparsity Analysis [5.854247492297834]
  本稿では,各層がモデル性能に与える影響を評価するために,正規化活性化分散と疎性を組み合わせた新しい計量法を提案する。 AVSSに基づいて、約25%のレイヤを特定し、取り除くことにより、元のモデル性能の90%以上を達成できる。
  論文  参考訳（メタデータ） (2024-11-04T14:29:49Z)
• CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models [37.476241509187304]
  大規模言語モデル(LLM)は、広範囲なデータに対する事前学習を通じて、優れたパフォーマンスを達成する。 基本的なメカニズムにおける解釈可能性の欠如は、特定のアプリケーションに対してLLMを効果的に操る能力を制限する。 本研究では,眼球運動計測を用いた認知的視点からLLMのメカニズムを考察する。
  論文  参考訳（メタデータ） (2024-10-23T09:40:15Z)
• Exploring Selective Layer Fine-Tuning in Federated Learning [48.470385357429215]
  フェデレートラーニング(FL)は,分散データを用いた基礎モデルの微調整のための,有望なパラダイムとして登場した。 FLにおける選択的層微調整について検討し、クライアントがローカルデータやリソースに応じて選択した層を調整できるフレキシブルなアプローチを強調した。
  論文  参考訳（メタデータ） (2024-08-28T07:48:39Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Learning the Right Layers: a Data-Driven Layer-Aggregation Strategy for Semi-Supervised Learning on Multilayer Graphs [2.752817022620644]
  多層グラフ上のクラスタリング(あるいはコミュニティ検出)は、さらにいくつかの複雑さを生じさせる。 主な課題の1つは、各レイヤがクラスタのイテレーションの割り当てにどの程度貢献するかを確立することである。 利用可能な入力ラベルから異なる層を最適に非線形に組み合わせたパラメータフリーなラプラシアン正規化モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。