Fugu-MT 論文翻訳(概要): When Parts are Greater Than Sums: Individual LLM Components Can Outperform Full Models

論文の概要: When Parts are Greater Than Sums: Individual LLM Components Can Outperform Full Models

arxiv url: http://arxiv.org/abs/2406.13131v2
Date: Mon, 24 Jun 2024 15:13:13 GMT
ステータス: 処理完了
システム内更新日: 2024-06-25 23:54:21.196176
Title: When Parts are Greater Than Sums: Individual LLM Components Can Outperform Full Models
Title（参考訳）: 部品が総和より大きい場合:個々のLCMコンポーネントは完全なモデルを上回ることができる
Authors: Ting-Yun Chang, Jesse Thomason, Robin Jia,
Abstract要約: 本稿では,大規模言語モデルの出力を,注目頭やコンポーネントの個々のコントリビューションに分解することで,文脈内学習(ICL)について検討する。モデルが貧弱な場合であっても、分類タスクで個別にうまく機能する優れたパフォーマンスのコンポーネント、偶然よりもはるかに悪いパフォーマンスのコンポーネント、常に同じラベルを予測するラベルバイアスのコンポーネント。
参考スコア（独自算出の注目度）: 28.46131289972691
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies in-context learning (ICL) by decomposing the output of large language models into the individual contributions of attention heads and MLPs (components). We observe curious components: good-performing ones that individually do well on a classification task, even when the model performs poorly; bad-performing ones that do much worse than chance; and label-biased components that always predict the same label. We find that component accuracies are well-correlated across different demonstration sets and perturbations of prompt templates, even when the full-model accuracy varies greatly. Based on our findings, we propose component reweighting, which learns to linearly re-scale the component activations from a few labeled examples. Given 24 labeled examples, our method improves by an average of 6.0% accuracy points over 24-shot ICL across 8 tasks on Llama-2-7B. Overall, this paper both enriches our understanding of ICL and provides a practical method for improvement by examining model internals.
Abstract（参考訳）: 本稿では,大規模言語モデルの出力を注目頭やMLP(コンポーネント)の個人的貢献に分解することで,文脈内学習(ICL)について検討する。モデルが貧弱な場合であっても、分類タスクで個別にうまく機能する優れたパフォーマンスのコンポーネント、偶然よりもはるかに悪いパフォーマンスのコンポーネント、常に同じラベルを予測するラベルバイアスのコンポーネント。完全モデルの精度が大きく変化しても, コンポーネントの精度は, 異なるデモセットやプロンプトテンプレートの摂動とよく相関していることがわかった。そこで本研究では,いくつかのラベル付き例から,コンポーネントアクティベーションを線形に再スケールするコンポーネント再重み付けを提案する。 Llama-2-7Bの8つのタスクにまたがる24ショットICLよりも平均6.0%精度が向上した。全体として、本論文はICLの理解を深め、モデル内部を調べることで改善のための実践的な方法を提供する。

関連論文リスト

Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文参考訳（メタデータ） (2024-06-07T11:37:45Z)
Prompt Perturbation Consistency Learning for Robust Language Models [47.021022978847036]
大規模言語モデル(LLM)は、多くの自然言語処理タスクにおいて印象的なパフォーマンスを示している。微調整を十分に行うと,識別モデルに匹敵するIC-SF性能が得られることを示す。クリーンサンプルと摂動サンプルの損失の分散を規則化して機能する,効率的な緩和手法であるPrompt Perturbation Consistency Learning(PPCL)を提案する。
論文参考訳（メタデータ） (2024-02-24T15:00:58Z)
Improving In-context Learning via Bidirectional Alignment [41.214003703218914]
大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、多くのタスクにおいて印象的な数ショットの一般化を示している。我々は,学生モデルのICL能力を向上させるために,ICL事例に対するモデルの嗜好を十分に活用するための双方向アライメント(Bidirectional Alignment, BiAlign)を提案する。具体的には、新しいランキング損失を取り入れることで、学生と教師のモデル間の入力好みのアライメントを導入する。
論文参考訳（メタデータ） (2023-12-28T15:02:03Z)
Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
論文参考訳（メタデータ） (2023-12-07T18:37:43Z)
Investigating the Learning Behaviour of In-context Learning: A Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文参考訳（メタデータ） (2023-07-28T09:03:19Z)
The XAISuite framework and the implications of explanatory system dissonance [0.0]
本稿では,2つの説明システムであるSHAPとLIMEを,それぞれの重要度スコアの相関関係に基づいて比較する。重要性の大きさは、説明の一貫性において重要ではない。 SHAPとLIMEの重要度スコアの類似性は、モデルの精度を予測できない。
論文参考訳（メタデータ） (2023-04-15T04:40:03Z)
Data Curation Alone Can Stabilize In-context Learning [20.874674130060388]
In-context Learning (ICL) は、大規模な言語モデルに対して、一連のトレーニング例でそれらを促すことで、新しいタスクを実行することを可能にする。トレーニングセットからランダムにサンプルをサンプリングすると、パフォーマンスのばらつきが高くなります。トレーニングデータのサブセットを慎重にキュレートすることは、ICLアルゴリズムに他の変更を加えることなく、ICLのパフォーマンスを大幅に安定化させることを示す。
論文参考訳（メタデータ） (2022-12-20T15:58:54Z)
Shared Independent Component Analysis for Multi-Subject Neuroimaging [107.29179765643042]
本稿では,ShICA (Shared Independent Component Analysis) を導入し,各ビューを加法ガウス雑音によって汚染された共有独立成分の線形変換としてモデル化する。このモデルは、成分がガウス的でないか、あるいはノイズ分散に十分な多様性がある場合、同定可能であることを示す。我々は,fMRIおよびMEGデータセットの実証的証拠として,ShICAが代替品よりも正確な成分推定を行うことを示す。
論文参考訳（メタデータ） (2021-10-26T08:54:41Z)
On Model Calibration for Long-Tailed Object Detection and Instance Segmentation [56.82077636126353]
NorCal, Normalized for long-tailed object detection and instance segmentation。バックグラウンドクラスを個別に扱い、各提案のクラスに対してスコアを正規化することは、優れたパフォーマンスを達成するための鍵であることを示す。
論文参考訳（メタデータ） (2021-07-05T17:57:20Z)
Ensemble Learning-Based Approach for Improving Generalization Capability of Machine Reading Comprehension Systems [0.7614628596146599]
機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
論文参考訳（メタデータ） (2021-07-01T11:11:17Z)
Neighborhood Contrastive Learning for Novel Class Discovery [79.14767688903028]
我々は,クラスタリング性能に重要な識別表現を学習するために,Neighborhood Contrastive Learningという新しいフレームワークを構築した。これらの2つの成分がクラスタリング性能に大きく寄与し、我々のモデルが最先端の手法よりも大きなマージンで優れていることを実験的に実証した。
論文参考訳（メタデータ） (2021-06-20T17:34:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。