論文の概要: Continuous Risk Prediction

• arxiv url: http://arxiv.org/abs/2410.09449v3
• Date: Thu, 20 Mar 2025 06:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:31:57.965070
• Title: Continuous Risk Prediction
• Title（参考訳）: 継続的リスク予測
• Authors: Yi Dai,
• Abstract要約: Dianaは、急激な言語モデルを用いてQAタスクのシーケンスを学習するように設計された、新しいフレームワークである。 寿命の長いQAモデルにおいて、Dianaは最先端のパフォーマンスを実現しており、特に、これまで目に見えないタスクを処理できることが顕著に改善されている。
• 参考スコア（独自算出の注目度）: 4.541582055558865
• License:
• Abstract: Lifelong learning (LL) capabilities are essential for QA models to excel in real-world applications, and architecture-based LL approaches have proven to be a promising direction for achieving this goal. However, adapting existing methods to QA tasks is far from straightforward. Many prior approaches either rely on access to task identities during testing or fail to adequately model samples from unseen tasks, which limits their practical applicability. To overcome these limitations, we introduce Diana , a novel \underline{d}ynam\underline{i}c \underline{a}rchitecture-based lifelo\underline{n}g Q\underline{A} framework designed to learn a sequence of QA tasks using a prompt-enhanced language model.Diana leverages four hierarchically structured types of prompts to capture QA knowledge at multiple levels of granularity. Task-level prompts are specifically designed to encode task-specific knowledge, ensuring strong lifelong learning performance. Meanwhile, instance-level prompts are utilized to capture shared knowledge across diverse input samples, enhancing the model's generalization capabilities. Additionally, Diana incorporates dedicated prompts to explicitly handle unseen tasks and introduces a set of prompt key vectors that facilitate efficient knowledge transfer and sharing between tasks. Through extensive experimentation, we demonstrate that Diana achieves state-of-the-art performance among lifelong QA models, with particularly notable improvements in its ability to handle previously unseen tasks. This makes Diana a significant advancement in the field of lifelong learning for question-answering systems.
• Abstract（参考訳）: 現実のアプリケーションにおいてQAモデルには生涯学習(LL)機能が不可欠であり、アーキテクチャベースのLLアプローチはこの目標を達成する上で有望な方向であることが証明されている。 しかし、既存のメソッドをQAタスクに適用することは、決して簡単ではない。 従来の多くのアプローチでは、テスト中にタスクの同一性にアクセスするか、見当たらないタスクからサンプルを適切にモデル化できないかのいずれかで、現実的な適用性を制限している。 これらの制限を克服するために、Diana という、新規な \underline{d}ynam\underline{i}c \underline{a}rchitecture-based lifelo\underline{n}g Q\underline{A} フレームワークを導入する。 タスクレベルのプロンプトは、タスク固有の知識を符号化し、強力な生涯学習性能を保証するように設計されている。 一方、インスタンスレベルのプロンプトを使用して、さまざまな入力サンプルの共有知識をキャプチャし、モデルの一般化能力を向上する。 さらに、Dianaには、目に見えないタスクを明示的に処理するための専用のプロンプトが組み込まれており、タスク間の効率的な知識伝達と共有を容易にするプロンプトキーベクターのセットが導入されている。 広範にわたる実験を通して、ダイアナは生涯にわたるQAモデルの中で最先端のパフォーマンスを達成し、特に、それまで目に見えないタスクを処理できることが顕著に改善されていることを実証した。 これによりダイアナは、質問応答システムのための生涯学習の分野で大きな進歩を遂げた。

関連論文リスト

• Visual Exploration of Stopword Probabilities in Topic Models [1.9107347888374506]
  停止語除去は多くの機械学習手法において重要な段階である。 不適切な選択または急いで省略された停止語は、最適以下の性能をもたらすだけでなく、モデルの品質にも大きな影響を及ぼす。 本稿では,停止語確率をコーパス固有確率で推定する新しい抽出法を提案する。
  論文  参考訳（メタデータ） (2025-01-17T11:59:56Z)
• Unified Causality Analysis Based on the Degrees of Freedom [1.2289361708127877]
  本稿では,システム間の因果関係を同定する統一手法を提案する。 システムの自由度を分析することで、私たちのアプローチは因果的影響と隠れた共同設立者の両方についてより包括的な理解を提供する。 この統合されたフレームワークは、理論モデルとシミュレーションを通じて検証され、その堅牢性とより広範な応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:57:35Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• A Self-supervised Framework for Improved Data-Driven Monitoring of Stress via Multi-modal Passive Sensing [7.084068935028644]
  ストレス応答の生理的前駆体を追跡するための多モード半教師付きフレームワークを提案する。 本手法は,ウェアラブルデバイスと異なる領域と解像度のマルチモーダルデータの利用を可能にする。 実世界のデータのコーパスを用いて、知覚的ストレスに関するトレーニング実験を行う。
  論文  参考訳（メタデータ） (2023-03-24T20:34:46Z)
• An Inter-observer consistent deep adversarial training for visual scanpath prediction [66.46953851227454]
  本稿では,軽量なディープニューラルネットワークによるスキャンパス予測のための,サーバ間一貫した対向トレーニング手法を提案する。 我々は、最先端の手法に関して、我々のアプローチの競争力を示す。
  論文  参考訳（メタデータ） (2022-11-14T13:22:29Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Calibrating Healthcare AI: Towards Reliable and Interpretable Deep Predictive Models [41.58945927669956]
  これらの2つの目的は必ずしも相違するものではなく、予測キャリブレーションを利用して両方の目的を満たすことを提案する。 本手法はキャリブレーション駆動型学習法により構成され, 対実的推論に基づく解釈可能性手法の設計にも用いられている。
  論文  参考訳（メタデータ） (2020-04-27T22:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。