論文の概要: A Unified Causal View of Instruction Tuning

• arxiv url: http://arxiv.org/abs/2402.06220v1
• Date: Fri, 9 Feb 2024 07:12:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 17:56:39.701271
• Title: A Unified Causal View of Instruction Tuning
• Title（参考訳）: 指導指導の統一的因果的視点
• Authors: Lu Chen, Wei Huang, Ruqing Zhang, Wei Chen, Jiafeng Guo, Xueqi Cheng
• Abstract要約: メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。 主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
• 参考スコア（独自算出の注目度）: 76.1000380429553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning on a mixture of tasks has improved zero-shot capabilities in natural language processing (NLP). Nevertheless, existing methods often learn features that exhibit correlations between instruction-formatted samples and target labels, rather than causal relationships. Termed as ``spurious correlation'' in statistics, such a correlation may change drastically in a new task, making the effect from the learned features to be misleading. To this end, we develop a meta Structural Causal Model (meta-SCM) to integrate different NLP tasks under a single causal structure of the data. Specifically, the meta-SCM introduces multiple latent factors that represent properties of source context, only some of which causally influence the target labels for a specific task. The key idea is to learn task-required causal factors and only use those to make predictions for a given task. Theoretically, we prove the causal factor can be identified without mixing information from others. Guided by the identifiability, we propose a Structural Instruction Tuning (SIT) method to learn the task-required causal representations that can mimic the causal factors for each task. The utility of our approach is verified by improvements of zero-shot ability on a range of unseen datasets and tasks.
• Abstract（参考訳）: タスクの混合によるインストラクションチューニングにより、自然言語処理(NLP)におけるゼロショット機能が改善された。 それにもかかわらず、既存の方法はしばしば因果関係ではなく、命令形式のサンプルとターゲットラベルの間の相関を示す特徴を学習する。 統計学では 'spurious correlation'' と呼ばれ、このような相関は新しいタスクで劇的に変化し、学習した特徴の効果を誤解させる。 この目的のために, メタ構造因果モデル(meta-SCM)を開発し, データの単一因果構造の下で異なるNLPタスクを統合する。 具体的には、メタSCMはソースコンテキストの特性を表す複数の潜在因子を導入し、その中のいくつかは特定のタスクのターゲットラベルに因果的に影響を与えている。 鍵となる考え方は、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。 理論的には,他の情報と混同することなく因果関係を同定できることを示す。 本研究では,各タスクの因果的要因を模倣するタスク要求因果的表現を学習するための構造的命令チューニング(SIT)手法を提案する。 このアプローチの有用性は、未発見のデータセットとタスクの範囲におけるゼロショット能力の改善によって検証される。

関連論文リスト

• Rethinking Misalignment in Vision-Language Model Adaptation from a Causal Perspective [13.56923651751788]
  本稿では,タスク非関連知識の干渉を軽減するために,因果性誘導セマンティックデカップリングと分類を提案する。 多様な意味論によって生成される各予測の不確実性を評価するために、Dempster-Shaferエビデンス理論を用いる。
  論文  参考訳（メタデータ） (2024-10-01T09:33:45Z)
• Exploring Correlations of Self-Supervised Tasks for Graphs [6.977921096191354]
  本稿では,タスク相関に基づくグラフ自己教師型学習を新たに理解することを目的とする。 我々は,ある特定のタスクによって訓練された他のタスクにおける表現の性能を評価し,タスク相関を定量化するための相関値を定義した。 本稿では,タスク相関を説明するグラフタスク相関モデリング(GraphTCM)を提案する。
  論文  参考訳（メタデータ） (2024-05-07T12:02:23Z)
• Hacking Task Confounder in Meta-Learning [18.179340061914708]
  本稿では,メタ学習コーサル表現(MetaCRL)を提案する。 我々の研究は、ベンチマークデータセット上での最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2023-12-10T05:33:40Z)
• Mind the instructions: a holistic evaluation of consistency and interactions in prompt-based learning [14.569770617709073]
  本稿では,どの設計選択が課題予測の不安定性や矛盾の原因となるかを詳細に分析する。 本稿では,入力分布とラベルの相関関係が,誘導モデルにのみ小さな問題となることを示す。 統計的に分析し、どの要因が最も影響力があり、インタラクティブで、安定したかを示す。
  論文  参考訳（メタデータ） (2023-10-20T13:25:24Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning [138.40338621974954]
  CausalWorldは、ロボット操作環境における因果構造と伝達学習のベンチマークである。 タスクは、ブロックのセットから3D形状を構築することで構成される。
  論文  参考訳（メタデータ） (2020-10-08T23:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。