論文の概要: Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2405.14039v2
• Date: Wed, 30 Oct 2024 12:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:32.624550
• Title: Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning
• Title（参考訳）: 数学的推論におけるアウト・オブ・ディストリビューション検出のための埋め込み軌道
• Authors: Yiming Wang, Pei Zhang, Baosong Yang, Derek F. Wong, Zhuosheng Zhang, Rui Wang,
• Abstract要約: 数理推論におけるOOD検出にトラジェクトリボラティリティを用いたトラジェクトリベースのTVスコアを提案する。 本手法は, 数学的推論シナリオ下でのGLM上での従来のアルゴリズムよりも優れる。 提案手法は,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張することができる。
• 参考スコア（独自算出の注目度）: 50.84938730450622
• License:
• Abstract: Real-world data deviating from the independent and identically distributed (i.i.d.) assumption of in-distribution training data poses security threats to deep networks, thus advancing out-of-distribution (OOD) detection algorithms. Detection methods in generative language models (GLMs) mainly focus on uncertainty estimation and embedding distance measurement, with the latter proven to be most effective in traditional linguistic tasks like summarization and translation. However, another complex generative scenario mathematical reasoning poses significant challenges to embedding-based methods due to its high-density feature of output spaces, but this feature causes larger discrepancies in the embedding shift trajectory between different samples in latent spaces. Hence, we propose a trajectory-based method TV score, which uses trajectory volatility for OOD detection in mathematical reasoning. Experiments show that our method outperforms all traditional algorithms on GLMs under mathematical reasoning scenarios and can be extended to more applications with high-density features in output spaces, such as multiple-choice questions.
• Abstract（参考訳）: 分散トレーニングデータの独立性と同一に分散された仮定から逸脱した現実世界のデータは、ディープネットワークにセキュリティ上の脅威をもたらすため、アウト・オブ・ディストリビューション(OOD)検出アルゴリズムが進歩する。 ジェネレーティブ言語モデル(GLM)における検出法は主に不確実性推定と埋め込み距離測定に重点を置いており、後者は要約や翻訳といった従来の言語タスクにおいて最も有効であることが証明されている。 しかし、別の複雑な生成シナリオの数学的推論は、出力空間の高密度な特徴のために埋め込みベースの手法に重大な課題をもたらすが、この特徴は、潜時空間における異なるサンプル間の埋め込みシフト軌跡において大きな相違をもたらす。 そこで,本研究では,OOD検出にトラジェクトリボラティリティを用いるトラジェクトリベースのTVスコアを提案する。 実験により,本手法は数学的推論シナリオ下でのGLM上の従来のアルゴリズムよりも優れており,複数選択質問などの出力空間における高密度特徴を持つアプリケーションに拡張可能であることが示された。

関連論文リスト

• Trajectory Anomaly Detection with Language Models [21.401931052512595]
  本稿では,自己回帰因果アテンションモデル(LM-TAD)を用いた軌道異常検出のための新しい手法を提案する。 トラジェクトリをトークンの列として扱うことにより、トラジェクトリ上の確率分布を学習し、高精度な異常位置の同定を可能にする。 本実験は, 合成および実世界の両方のデータセットに対するLM-TADの有効性を実証した。
  論文  参考訳（メタデータ） (2024-09-18T17:33:31Z)
• Scalable and reliable deep transfer learning for intelligent fault detection via multi-scale neural processes embedded with knowledge [7.730457774728478]
  本稿では,グラフ畳み込みネットワーク(GTNP)を用いたニューラルプロセスを用いたディープトランスファー学習法を提案する。 提案手法の検証は3つのIFDタスクにまたがって行われ、他のDTL法と比較してGTNPの検出性能が優れていた。
  論文  参考訳（メタデータ） (2024-02-20T05:39:32Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Few-Shot Anomaly Detection with Adversarial Loss for Robust Feature Representations [8.915958745269442]
  異常検出は、データセット内の通常のパターンや分布から逸脱したデータポイントを特定することを目的とした、重要で困難なタスクである。 ワンクラス・ワン・モデル手法を用いて様々な手法が提案されているが、これらの手法はメモリ不足や訓練に十分なデータを必要とするといった現実的な問題に直面していることが多い。 本稿では,より堅牢で一般化された特徴表現を得るために,対向訓練損失を統合する数発の異常検出手法を提案する。
  論文  参考訳（メタデータ） (2023-12-04T09:45:02Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• A hypothesis-driven method based on machine learning for neuroimaging data analysis [0.0]
  脳画像の空間パターンを識別するための機械学習アプローチは、特徴抽出と線形分類タスクに限定されている。 従来の一般線形モデル(GLM)の推定は,一変量分類タスクに関係していることを示す。 我々は, 線形支持ベクトル回帰(SVR-iGLM)から得られるパラメータに基づいて, GLMを用いた改良された統計的検定を導出する。 マルチサイトイニシアチブの実際のデータを用いて、提案されたMLEベースの推論は、統計的パワーと偽陽性の制御を示し、正規Gよりも優れている。
  論文  参考訳（メタデータ） (2022-02-09T11:13:02Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Anomaly Detection in Trajectory Data with Normalizing Flows [0.0]
  本稿では,ニューラルネットワークを用いたデータから複雑な密度推定を可能にする,正規化フローに基づく手法を提案する。 提案手法は, 軌道の各セグメントに対して, 流れを正規化する重要な特徴である, 正確なモデル確率値を算出する。 実世界の軌道データを用いて, 正規化フローを用いた集約異常検出法(GRADINGS)を評価し, 従来の異常検出法と比較した。
  論文  参考訳（メタデータ） (2020-04-13T14:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。