論文の概要: Statistical learning does not always entail knowledge
- arxiv url: http://arxiv.org/abs/2501.01963v1
- Date: Tue, 17 Dec 2024 19:51:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-12 04:13:44.050471
- Title: Statistical learning does not always entail knowledge
- Title（参考訳）: 統計的学習は知識を必ずしも必要としない
- Authors: Daniel Andrés Díaz-Pachón, H. Renata Gallegos, Ola Hössjer, J. Sunil Rao,
- Abstract要約: 我々は,真偽の命題に関するエージェントの学習と知識獲得について研究する。
データは提案に関連する多くの機能の詳細を提供すると仮定される。
抽出した機能の数が小さすぎる場合には,完全な学習は不可能であり,完全な知識獲得は不可能であることを示す。
- 参考スコア（独自算出の注目度）: 1.8749305679160366
- License:
- Abstract: In this paper, we study learning and knowledge acquisition (LKA) of an agent about a proposition that is either true or false. We use a Bayesian approach, where the agent receives data to update his beliefs about the proposition according to a posterior distribution. The LKA is formulated in terms of active information, with data representing external or exogenous information that modifies the agent's beliefs. It is assumed that data provide details about a number of features that are relevant to the proposition. We show that this leads to a Gibbs distribution posterior, which is in maximum entropy relative to the prior, conditioned on the side constraints that the data provide in terms of the features. We demonstrate that full learning is sometimes not possible and full knowledge acquisition is never possible when the number of extracted features is too small. We also distinguish between primary learning (receiving data about features of relevance for the proposition) and secondary learning (receiving data about the learning of another agent). We argue that this type of secondary learning does not represent true knowledge acquisition. Our results have implications for statistical learning algorithms, and we claim that such algorithms do not always generate true knowledge. The theory is illustrated with several examples.
- Abstract（参考訳）: 本稿では,真偽の命題に関するエージェントの学習と知識獲得(LKA)について検討する。
我々はベイズ的アプローチを用いて、エージェントがデータを受け取り、後続分布に従って命題に関する信念を更新する。
LKAは、エージェントの信念を変更する外部または外生的な情報を表すデータとともに、アクティブな情報という観点で定式化されている。
データは提案に関連する多くの機能の詳細を提供すると仮定される。
この結果から,前者と比較して最大エントロピーのギブス分布が最大となり,特徴量の観点からデータが提供する側制約が条件となることがわかった。
抽出した機能の数が小さすぎる場合には,完全な学習は不可能であり,完全な知識獲得は不可能であることを示す。
また,プライマリ・ラーニング(命題の関連性の特徴データ)とセカンダリ・ラーニング(他のエージェントの学習データ)を区別する。
この種の二次学習は真の知識獲得を表すものではないと我々は主張する。
この結果は統計的学習アルゴリズムに影響を及ぼすものであり,そのようなアルゴリズムが必ずしも真の知識を生成するとは限らないと主張している。
この理論はいくつかの例で説明されている。
関連論文リスト
- Collaborative Learning with Different Labeling Functions [7.228285747845779]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳（メタデータ） (2024-02-16T04:32:22Z) - R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。
事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
論文 参考訳（メタデータ） (2023-11-16T08:45:44Z) - Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。
モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-09-25T17:37:20Z) - Reinforcement Learning from Passive Data via Latent Intentions [86.4969514480008]
我々は、下流RLを加速する機能を学ぶために、受動的データが引き続き使用できることを示す。
我々のアプローチは、意図をモデル化することで受動的データから学習する。
実験では、クロス・エボディメント・ビデオデータやYouTubeビデオなど、さまざまな形式の受動的データから学習できることを実証した。
論文 参考訳（メタデータ） (2023-04-10T17:59:05Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳（メタデータ） (2022-05-21T08:39:42Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-08T18:08:36Z) - A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。
例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
論文 参考訳（メタデータ） (2021-09-03T08:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。