論文の概要: When Is Prior Knowledge Helpful? Exploring the Evaluation and Selection of Unsupervised Pretext Tasks from a Neuro-Symbolic Perspective
- arxiv url: http://arxiv.org/abs/2508.07299v1
- Date: Sun, 10 Aug 2025 11:23:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.797098
- Title: When Is Prior Knowledge Helpful? Exploring the Evaluation and Selection of Unsupervised Pretext Tasks from a Neuro-Symbolic Perspective
- Title（参考訳）: 先行知識はいつ役に立つか? : 神経・身体的観点からの教師なし前提課題の評価と選定
- Authors: Lin-Han Jia, Si-Yu Han, Wen-Chao Hu, Jie-Jing Shao, Wen-Da Wei, Zhi Zhou, Lan-Zhe Guo, Yu-Feng Li,
- Abstract要約: 我々は、信頼できない知識のシナリオまで、信頼できる知識に基づくネッシー理論を拡張した。
そこで本稿では,これらの理論的メトリクスを運用するためのスキームを提案し,プリテキストタスクの有効性を事前に予測できる手法を開発した。
- 参考スコア（独自算出の注目度）: 45.419765404078724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neuro-symbolic (Nesy) learning improves the target task performance of models by enabling them to satisfy knowledge, while semi/self-supervised learning (SSL) improves the target task performance by designing unsupervised pretext tasks for unlabeled data to make models satisfy corresponding assumptions. We extend the Nesy theory based on reliable knowledge to the scenario of unreliable knowledge (i.e., assumptions), thereby unifying the theoretical frameworks of SSL and Nesy. Through rigorous theoretical analysis, we demonstrate that, in theory, the impact of pretext tasks on target performance hinges on three factors: knowledge learnability with respect to the model, knowledge reliability with respect to the data, and knowledge completeness with respect to the target. We further propose schemes to operationalize these theoretical metrics, and thereby develop a method that can predict the effectiveness of pretext tasks in advance. This will change the current status quo in practical applications, where the selections of unsupervised tasks are heuristic-based rather than theory-based, and it is difficult to evaluate the rationality of unsupervised pretext task selection before testing the model on the target task. In experiments, we verify a high correlation between the predicted performance-estimated using minimal data-and the actual performance achieved after large-scale semi-supervised or self-supervised learning, thus confirming the validity of the theory and the effectiveness of the evaluation method.
- Abstract（参考訳）: ニューロシンボリック(Nesy)学習は、知識を満足させることでモデルの目標タスク性能を向上する一方、セミ・セルフ教師付き学習(SSL)は、未ラベルデータの教師なしプレテキストタスクを設計し、モデルが対応する仮定を満たすようにすることで、目標タスク性能を向上する。
我々は信頼できない知識(すなわち仮定)のシナリオに、信頼できない知識に基づくネッシー理論を拡張し、SSLとネッシーの理論的な枠組みを統一する。
厳密な理論的分析を通じて、理論上は、対象のパフォーマンスヒンジに対するプレテキストタスクの影響は、モデルに関する知識の学習可能性、データに関する知識の信頼性、ターゲットに関する知識の完全性という3つの要因に影響を及ぼすことを示した。
さらに、これらの理論的メトリクスを運用するためのスキームを提案し、それによって、あらかじめ記述されたタスクの有効性を予測できる方法を開発した。
これにより、教師なしタスクの選択が理論ベースではなくヒューリスティックベースであり、対象タスク上でモデルをテストする前に教師なしタスク選択の合理性を評価することは困難である。
実験では、予測された性能推定値と、大規模半教師付きあるいは自己教師付き学習後の実際の性能との相関を検証し、理論の有効性と評価方法の有効性を検証した。
関連論文リスト
- Safety Through Reasoning: An Empirical Study of Reasoning Guardrail Models [3.102576158218633]
推論に基づく言語モデルは、様々な領域で強いパフォーマンスを示している。
近年の研究では、推論は安全性とガードレールの応用にも大きなメリットをもたらすことが示されている。
本研究はデータ効率と推論効率の2つの重要な側面に焦点を当てている。
論文 参考訳（メタデータ） (2025-05-26T15:01:37Z) - Spurious Forgetting in Continual Learning of Language Models [20.0936011355535]
大規模言語モデル(LLM)の最近の進歩は、継続学習において複雑な現象を呈している。
大規模な訓練にもかかわらず、モデルは大幅な性能低下を経験する。
本研究では,このような性能低下が,真の知識喪失よりもタスクアライメントの低下を反映していることが示唆された。
論文 参考訳（メタデータ） (2025-01-23T08:09:54Z) - Understanding Uncertainty-based Active Learning Under Model Mismatch [16.361254095103615]
不確実性に基づくアクティブラーニング(UAL)は、予測の不確実性に基づいて選択されたラベル付きプールから重要なサンプルのラベル(s)をクエリすることで動作する。
UALの有効性は、モデル容量と、採用されている不確実性ベースの取得機能に依存する。
論文 参考訳（メタデータ） (2024-08-24T23:37:08Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
点予測損失の最小化は、潜時関係情報の適切な学習を保証するものではないことを示す。
本稿では,この共同学習課題を解決するサンプリングベース手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳（メタデータ） (2024-05-02T16:50:47Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - Distortion Resilience for Goal-Oriented Semantic Communication [12.459448669650683]
この研究は、速度歪み理論を利用して、通信や圧縮によって引き起こされる歪みを分析する革新的なアプローチを導入している。
我々は、AIタスクの実証的精度を事前に見積もることができ、ゴール指向のSemCom問題を実現することができる。
実験結果から,提案手法はネットワーク制約に固執しながら,正確なAIタスク性能を実現することが示唆された。
論文 参考訳（メタデータ） (2023-09-26T00:26:29Z) - Knowing when we do not know: Bayesian continual learning for
sensing-based analysis tasks [8.201216572526302]
本研究では,実世界のセンサベース分析タスクの集合を継続的に学習するベイズ推論に基づくフレームワークを提案する。
本実験は,学習モデルの堅牢性と信頼性を実証し,センサ環境の変化に適応させるものである。
論文 参考訳（メタデータ） (2021-06-06T13:45:06Z) - Knowledge-driven Data Construction for Zero-shot Evaluation in
Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。
言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。
個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文 参考訳（メタデータ） (2020-11-07T22:52:21Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。