論文の概要: Continuous Risk Prediction

• arxiv url: http://arxiv.org/abs/2410.09449v3
• Date: Thu, 20 Mar 2025 06:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 17:46:13.407968
• Title: Continuous Risk Prediction
• Title（参考訳）: 継続的リスク予測
• Authors: Yi Dai,
• Abstract要約: Dianaは、急激な言語モデルを用いてQAタスクのシーケンスを学習するように設計された、新しいフレームワークである。 寿命の長いQAモデルにおいて、Dianaは最先端のパフォーマンスを実現しており、特に、これまで目に見えないタスクを処理できることが顕著に改善されている。
• 参考スコア（独自算出の注目度）: 4.541582055558865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong learning (LL) capabilities are essential for QA models to excel in real-world applications, and architecture-based LL approaches have proven to be a promising direction for achieving this goal. However, adapting existing methods to QA tasks is far from straightforward. Many prior approaches either rely on access to task identities during testing or fail to adequately model samples from unseen tasks, which limits their practical applicability. To overcome these limitations, we introduce Diana , a novel \underline{d}ynam\underline{i}c \underline{a}rchitecture-based lifelo\underline{n}g Q\underline{A} framework designed to learn a sequence of QA tasks using a prompt-enhanced language model.Diana leverages four hierarchically structured types of prompts to capture QA knowledge at multiple levels of granularity. Task-level prompts are specifically designed to encode task-specific knowledge, ensuring strong lifelong learning performance. Meanwhile, instance-level prompts are utilized to capture shared knowledge across diverse input samples, enhancing the model's generalization capabilities. Additionally, Diana incorporates dedicated prompts to explicitly handle unseen tasks and introduces a set of prompt key vectors that facilitate efficient knowledge transfer and sharing between tasks. Through extensive experimentation, we demonstrate that Diana achieves state-of-the-art performance among lifelong QA models, with particularly notable improvements in its ability to handle previously unseen tasks. This makes Diana a significant advancement in the field of lifelong learning for question-answering systems.
• Abstract（参考訳）: 現実のアプリケーションにおいてQAモデルには生涯学習(LL)機能が不可欠であり、アーキテクチャベースのLLアプローチはこの目標を達成する上で有望な方向であることが証明されている。 しかし、既存のメソッドをQAタスクに適用することは、決して簡単ではない。 従来の多くのアプローチでは、テスト中にタスクの同一性にアクセスするか、見当たらないタスクからサンプルを適切にモデル化できないかのいずれかで、現実的な適用性を制限している。 これらの制限を克服するために、Diana という、新規な \underline{d}ynam\underline{i}c \underline{a}rchitecture-based lifelo\underline{n}g Q\underline{A} フレームワークを導入する。 タスクレベルのプロンプトは、タスク固有の知識を符号化し、強力な生涯学習性能を保証するように設計されている。 一方、インスタンスレベルのプロンプトを使用して、さまざまな入力サンプルの共有知識をキャプチャし、モデルの一般化能力を向上する。 さらに、Dianaには、目に見えないタスクを明示的に処理するための専用のプロンプトが組み込まれており、タスク間の効率的な知識伝達と共有を容易にするプロンプトキーベクターのセットが導入されている。 広範にわたる実験を通して、ダイアナは生涯にわたるQAモデルの中で最先端のパフォーマンスを達成し、特に、それまで目に見えないタスクを処理できることが顕著に改善されていることを実証した。 これによりダイアナは、質問応答システムのための生涯学習の分野で大きな進歩を遂げた。

関連論文リスト

• Vector Quantization Prompting for Continual Learning [23.26682439914273]
  連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。 最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。 本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
  論文  参考訳（メタデータ） (2024-10-27T13:43:53Z)
• Unified Causality Analysis Based on the Degrees of Freedom [1.2289361708127877]
  本稿では,システム間の因果関係を同定する統一手法を提案する。 システムの自由度を分析することで、私たちのアプローチは因果的影響と隠れた共同設立者の両方についてより包括的な理解を提供する。 この統合されたフレームワークは、理論モデルとシミュレーションを通じて検証され、その堅牢性とより広範な応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:57:35Z)
• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Early stopping by correlating online indicators in neural networks [0.24578723416255746]
  本稿では,学習者の学習において過度に適合する現象を識別する新しい手法を提案する。 提案手法は,オンライン指標の収集における時間的相関を利用したものである。 一つの基準に焦点をあてた従来のアプローチとは対照的に、独立性評価の助成を生かしている。
  論文  参考訳（メタデータ） (2024-02-04T14:57:20Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Gotta: Generative Few-shot Question Answering by Prompt-based Cloze Data Augmentation [18.531941086922256]
  QA (Few-shot Question answering) は、コンテキストパスから一連の質問に対する回答を正確に発見することを目的としている。 我々は,ジェネレーティブPROmpTベースのdaTa拡張フレームワークであるGottaを開発した。 人間の推論プロセスにインスパイアされた我々は、クローズタスクを統合して、数発のQA学習を強化することを提案する。
  論文  参考訳（メタデータ） (2023-06-07T01:44:43Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Domain Incremental Lifelong Learning in an Open World [45.704746275089555]
  textbfDiana: a underlinedynamunderlineic underlinearchitecture based lifelounderlineng leunderlinearning model。 ダイアナでは4種類の階層的に整理されたプロンプトが、異なる粒度から知識を取得するために使われている。
  論文  参考訳（メタデータ） (2023-05-11T04:19:08Z)
• A Self-supervised Framework for Improved Data-Driven Monitoring of Stress via Multi-modal Passive Sensing [7.084068935028644]
  ストレス応答の生理的前駆体を追跡するための多モード半教師付きフレームワークを提案する。 本手法は,ウェアラブルデバイスと異なる領域と解像度のマルチモーダルデータの利用を可能にする。 実世界のデータのコーパスを用いて、知覚的ストレスに関するトレーニング実験を行う。
  論文  参考訳（メタデータ） (2023-03-24T20:34:46Z)
• An Inter-observer consistent deep adversarial training for visual scanpath prediction [66.46953851227454]
  本稿では,軽量なディープニューラルネットワークによるスキャンパス予測のための,サーバ間一貫した対向トレーニング手法を提案する。 我々は、最先端の手法に関して、我々のアプローチの競争力を示す。
  論文  参考訳（メタデータ） (2022-11-14T13:22:29Z)
• Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue [80.05509768165135]
  生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。 既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。 本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
  論文  参考訳（メタデータ） (2022-10-14T13:12:14Z)
• Continuous QA Learning with Structured Prompts [20.246786740364133]
  Dianaは動的アーキテクチャベースの生涯QAモデルで、一連のQAタスクを学習しようとする。 階層的に整理された4つのプロンプトは、異なる粒度からQA知識を取得するためにダイアナで使用される。 実験では、Dianaは、特に目に見えないタスクの処理において、最先端のQAモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-08-31T02:38:16Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models [41.58945927669956]
  これらの2つの目的は必ずしも相違するものではなく、予測キャリブレーションを利用して両方の目的を満たすことを提案する。 本手法はキャリブレーション駆動型学習法により構成され, 対実的推論に基づく解釈可能性手法の設計にも用いられている。
  論文  参考訳（メタデータ） (2020-04-27T22:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。