論文の概要: What the Weight?! A Unified Framework for Zero-Shot Knowledge Composition

• arxiv url: http://arxiv.org/abs/2401.12756v1
• Date: Tue, 23 Jan 2024 13:35:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 15:30:41.132246
• Title: What the Weight?! A Unified Framework for Zero-Shot Knowledge Composition
• Title（参考訳）: 体重って何? ゼロショット知識合成のための統一フレームワーク
• Authors: Carolin Holtermann, Markus Frohmann, Navid Rekabsaz, Anne Lauscher
• Abstract要約: ゼロショットモジュール合成のための新しいフレームワークを提案し,パラメータモジュールの選択,重み付け,結合のための,既存およびいくつかの新しいバリエーションを包含する。 各種ゼロショット知識合成戦略の総合的なベンチマーク研究を行う。 本研究の結果は,アンサンブルの有効性を浮き彫りにしただけでなく,単純な重み付け手法の威力を示唆するものである。
• 参考スコア（独自算出の注目度）: 20.742004197901576
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The knowledge encapsulated in a model is the core factor determining its final performance on downstream tasks. Much research in NLP has focused on efficient methods for storing and adapting different types of knowledge, e.g., in dedicated modularized structures, and on how to effectively combine these, e.g., by learning additional parameters. However, given the many possible options, a thorough understanding of the mechanisms involved in these compositions is missing, and hence it remains unclear which strategies to utilize. To address this research gap, we propose a novel framework for zero-shot module composition, which encompasses existing and some novel variations for selecting, weighting, and combining parameter modules under a single unified notion. Focusing on the scenario of domain knowledge and adapter layers, our framework provides a systematic unification of concepts, allowing us to conduct the first comprehensive benchmarking study of various zero-shot knowledge composition strategies. In particular, we test two module combination methods and five selection and weighting strategies for their effectiveness and efficiency in an extensive experimental setup. Our results highlight the efficacy of ensembling but also hint at the power of simple though often-ignored weighting methods. Further in-depth analyses allow us to understand the role of weighting vs. top-k selection, and show that, to a certain extent, the performance of adapter composition can even be predicted.
• Abstract（参考訳）: モデルにカプセル化された知識は、下流タスクにおける最終的なパフォーマンスを決定するコアファクタである。 nlpにおける多くの研究は、例えば特定のモジュール化された構造において、異なる種類の知識を格納し、適応するための効率的な方法や、追加のパラメータを学習することによってこれらを効果的に組み合わせる方法に焦点を当てている。 しかし、考えられる多くの選択肢を考えると、これらの構成にかかわるメカニズムの完全な理解が欠落しており、どの戦略を使うべきかは不明のままである。 この研究のギャップに対処するために,ゼロショットモジュール構成のための新しいフレームワークを提案し,単一の統一概念の下でパラメータモジュールの選択,重み付け,結合を行うための既存およびいくつかの新しいバリエーションを包含する。 ドメイン知識とアダプタ層のシナリオに注目して、我々のフレームワークは概念を体系的に統一し、様々なゼロショット知識合成戦略に関する最初の包括的なベンチマーク研究を行うことができます。 特に,2つのモジュールの組み合わせ法と5つの選択および重み付け戦略を実験的に検討した。 本研究は, センシングの有効性を強調すると同時に, 単純だがしばしば無視される重み付け手法のパワーを示唆する。 さらに詳細な分析により、重み付けとトップk選択の役割を理解し、ある程度は、アダプタ構成の性能を予測できることを示す。

関連論文リスト

• Towards a Unified View of Preference Learning for Large Language Models: A Survey [88.66719962576005]
  大きな言語モデル(LLM)は、非常に強力な能力を示す。 成功するための重要な要因の1つは、LLMの出力を人間の好みに合わせることである。 選好学習のすべての戦略を、モデル、データ、フィードバック、アルゴリズムの4つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-09-04T15:11:55Z)
• Pushing the Boundary: Specialising Deep Configuration Performance Learning [0.0]
  この論文は、構成性能モデリングにおけるディープラーニング技術に関する体系的な文献レビューから始まる。 第一の知識のギャップは、どの符号化方式が優れているかについての理解の欠如である。 第二の知識ギャップは、構成のランドスケープから受け継がれた空間である。
  論文  参考訳（メタデータ） (2024-07-02T22:59:19Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
  人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。 本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。 本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T22:46:19Z)
• A generalized framework for active learning reliability: survey and benchmark [0.0]
  本研究では,効果的な能動学習戦略を構築するためのモジュラーフレームワークを提案する。 信頼性ベンチマーク問題20の解決策として39の戦略を考案した。
  論文  参考訳（メタデータ） (2021-06-03T09:33:59Z)
• Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton [108.01007935498104]
  本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。 まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
  論文  参考訳（メタデータ） (2020-04-18T11:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。