Fugu-MT 論文翻訳(概要): Data-Efficient Adaptation of LLMs via Attention Head Reweighting

論文の概要: Data-Efficient Adaptation of LLMs via Attention Head Reweighting

arxiv url: http://arxiv.org/abs/2607.13425v1
Date: Wed, 15 Jul 2026 04:03:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-16 16:39:12.635716
Title: Data-Efficient Adaptation of LLMs via Attention Head Reweighting
Title（参考訳）: 注意頭重み付けによるLCMデータの効率的な適応
Abstract要約: 大規模言語モデル(LLM)は、データ効率の学習機能を示す。本研究では,注意頭1つのスカラーのみを学習することにより,LLMを新たなテキスト分類タスクに適用するための注意頭重み付け(AHR)を提案する。 AHRは、限られたサンプルから学ぶとき、LoRAのような標準ベースラインを上回ることができる。
参考スコア（独自算出の注目度）: 39.04311724700589
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning effectively from limited data is critical in domains like security where labeled examples are scarce. Large language models (LLMs) have demonstrated some capabilities for data-efficient learning, especially through parameter-efficient adaptation methods, but continue to struggle when faced with few samples for difficult tasks. To meet this challenge, we propose Attention Head Reweighting (AHR), a data-efficient method that adapts LLMs to new text-classification tasks by learning only a single scalar per attention head. This drastically reduces the number of parameters that need to be learned by making use of the functional specialization of individual attention heads. Experiments on diverse open-source text classification datasets show that AHR can outperform standard baselines like LoRA when learning from limited samples, despite having 200-1000x fewer trainable parameters, as our AHR only modifies ~0.0001% of the model's parameters. In addition, our learned weights are easy to interpret and can be analyzed to better understand the mechanisms and attention heads responsible for in-context learning abilities in LLMs.
Abstract（参考訳）: ラベル付きサンプルが不足しているセキュリティのようなドメインでは、限られたデータから効果的に学習することが重要だ。大規模言語モデル(LLM)は、特にパラメータ効率の適応手法を通じて、データ効率のよい学習のいくつかの能力を実証してきたが、難しいタスクのために少数のサンプルに直面した場合でも、引き続き苦労を続けている。この課題に対処するため,LLMを新しいテキスト分類タスクに適応させるデータ効率のよいアテンションヘッド再重み付け(AHR)を提案する。これにより、個々の注目ヘッドの機能的特殊化を活用することにより、学習すべきパラメータの数が大幅に削減される。さまざまなオープンソースのテキスト分類データセットの実験によると、AHRは200～1000倍のトレーニング可能なパラメータを持つにもかかわらず、限られたサンプルから学習するときにLoRAのような標準ベースラインよりも優れており、AHRはモデルのパラメータの0.0001%しか変更していない。さらに、学習重量の解釈が容易であり、LLMにおける文脈内学習能力に責任があるメカニズムや注意ヘッドをよりよく理解するために分析することができる。

関連論文リスト

Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
Frustratingly Easy Task-aware Pruning for Large Language Models [33.84349099489764]
大規模言語モデル(LLM)に対する単純かつ効果的なプルーニング手法を提案する。本フレームワークは,汎用校正データとタスク固有の校正データの両方を用いて,重要度を算出している。広く使われているベンチマークの実験は、我々のアプローチが効果的であり、一貫してベースラインを上回っていることを示している。
論文参考訳（メタデータ） (2025-10-26T02:09:22Z)
Applying Large Language Models to Travel Satisfaction Analysis [2.5105418815378555]
本研究は上海で収集された家庭調査データを用いて,大言語モデル(LLM)と人間との相違点の存在と原因を特定する。 LLMは文脈的理解と一般化において強力な能力を持ち、タスク固有のデータへの依存を著しく減少させる。小さいサンプルサイズで旅行行動のモデル化に応用できるLCMに基づくモデリング手法を提案する。
論文参考訳（メタデータ） (2025-05-29T09:11:58Z)
Large Language Models as Attribution Regularizers for Efficient Model Training [0.0]
大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。我々は,LLM生成したグローバルタスク特徴属性を,より小さなネットワークのトレーニングプロセスに組み込む方法を提案する。我々のアプローチは、数ショットの学習シナリオにおいて優れたパフォーマンスをもたらす。
論文参考訳（メタデータ） (2025-02-27T16:55:18Z)
Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
論文参考訳（メタデータ） (2024-11-30T07:21:02Z)
Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection [22.748835458594744]
本稿では,検索を超越したアダプタ再利用のための新しいフレームワークを提案する。我々は,各タスクを潜在プロトタイプベクトルで表現し,対象タスクのプロトタイプを,検索した参照プロトタイプの疎線形結合として近似することを目的とする。結果として得られる組み合わせ重量は、対応するLoRAアダプタをブレンドするために使用され、ターゲットタスクに合わせて調整された複合アダプタが生成される。
論文参考訳（メタデータ） (2024-10-13T16:28:38Z)
Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文参考訳（メタデータ） (2024-08-07T04:20:28Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
RKLD: Reverse KL-Divergence-based Knowledge Distillation for Unlearning Personal Information in Large Language Models [23.91608718129775]
我々は,大規模言語モデル(LLM)のための新しいtextbfReverse textbfKL-Divergence-based Knowledge textbfDistillation unlearningアルゴリズムであるRKLDを提案する。我々は,実験におけるモデルの有用性を効果的に維持し,品質を著しく忘れることを実現した。
論文参考訳（メタデータ） (2024-06-04T05:51:43Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。