論文の概要: Non-uniform Online Learning: Towards Understanding Induction
- arxiv url: http://arxiv.org/abs/2312.00170v1
- Date: Thu, 30 Nov 2023 20:02:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:38:38.993334
- Title: Non-uniform Online Learning: Towards Understanding Induction
- Title（参考訳）: 非一様オンライン学習:インダクションの理解に向けて
- Authors: Zhou Lu
- Abstract要約: 非一様オンライン学習の概念を導入し、帰納的推論の原理とより密接に一致していると主張している。
実現可能な設定では、有限誤差で学習可能性の完全な特徴づけを提供する。
結果をより現実的な設定にまで拡張し、Littlestoneクラスの可算和が後悔して学習できることを示します。
- 参考スコア（独自算出の注目度）: 3.4991031406102238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can a physicist make only finite errors in the endless pursuit of the law of
nature? This millennium-old question of inductive inference is a fundamental,
yet mysterious problem in philosophy, lacking rigorous justifications. While
classic online learning theory and inductive inference share a similar
sequential decision-making spirit, the former's reliance on an adaptive
adversary and worst-case error bounds limits its applicability to the latter.
In this work, we introduce the concept of non-uniform online learning, which we
argue aligns more closely with the principles of inductive reasoning. This
setting assumes a predetermined ground-truth hypothesis and considers
non-uniform, hypothesis-wise error bounds. In the realizable setting, we
provide a complete characterization of learnability with finite error: a
hypothesis class is non-uniform learnable if and only if it's a countable union
of Littlestone classes, no matter the observations are adaptively chosen or iid
sampled. Additionally, we propose a necessary condition for the weaker
criterion of consistency which we conjecture to be tight. To further promote
our theory, we extend our result to the more realistic agnostic setting,
showing that any countable union of Littlestone classes can be learnt with
regret $\tilde{O}(\sqrt{T})$. We hope this work could offer a new perspective
of interpreting the power of induction from an online learning viewpoint.
- Abstract（参考訳）: 物理学者は自然法則の無限の追求において有限の誤りしか作れないのか。
この千年紀前の帰納的推論の問題は哲学の基本的だが神秘的な問題であり、厳密な正当化を欠いている。
古典的なオンライン学習理論と帰納的推論は、同様の連続的な意思決定精神を共有しているが、前者の適応的な逆や最悪のケース境界への依存は、後者の適用性を制限する。
本稿では,非一様オンライン学習の概念を紹介し,帰納的推論の原理と密接な関係にあると論じる。
この設定は、所定の基底真実仮説を仮定し、一様でない仮説的な誤り境界を考える。
仮説クラスが一様でないことは、それがリトルストーンクラスの可算結合であることと、観測が適応的に選択されたり、iidがサンプリングされたりしても、それが可算である場合に限る。
さらに,タイトであると思われる一貫性の弱い基準に対して必要条件を提案する。
我々の理論をさらに推進するために、我々の結果はより現実的な非依存的な設定にまで拡張され、Littlestoneクラスの可算和は、後悔の$\tilde{O}(\sqrt{T})$で学習可能であることを示す。
この研究が、オンライン学習の視点から誘導の力を解釈する新しい視点をもたらすことを期待している。
関連論文リスト
- Computable learning of natural hypothesis classes [0.0]
最近、PACが学習可能であるが、計算可能でない仮説クラスが与えられた。
計算可能性理論のon-a-cone 機械を用いて、仮説クラスが計算可能リスト化可能であるような軽微な仮定の下では、学習可能な自然仮説クラスは計算可能リスト化可能であることを証明する。
論文 参考訳（メタデータ） (2024-07-23T17:26:38Z) - Machine learning and information theory concepts towards an AI
Mathematician [77.63761356203105]
人工知能の現在の最先端技術は、特に言語習得の点で印象的だが、数学的推論の点ではあまり重要ではない。
このエッセイは、現在のディープラーニングが主にシステム1の能力で成功するという考えに基づいている。
興味深い数学的ステートメントを構成するものについて質問するために、情報理論的な姿勢を取る。
論文 参考訳（メタデータ） (2024-03-07T15:12:06Z) - Betting on what is neither verifiable nor falsifiable [18.688474183114085]
我々は,このようなイベントを選択肢を通じて賭けるアプローチを提案し,また,「検証・ファルシフィケーションゲーム」の結果に賭ける手法を提案する。
したがって、我々の研究は、論理的不確実性に対するガラブラント帰納法(英語版)の既存の枠組みの代替として機能し、数学の哲学における構成主義(英語版)として知られるスタンスに関連している。
論文 参考訳（メタデータ） (2024-01-29T17:30:34Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳（メタデータ） (2023-10-12T17:51:10Z) - Learnability with PAC Semantics for Multi-agent Beliefs [38.88111785113001]
推論と帰納の緊張は、おそらく哲学、認知、人工知能といった分野において最も根本的な問題である。
Valiant氏は、学習の課題は推論と統合されるべきである、と認識した。
古典的な包含よりも弱いが、クエリに応答する強力なモデル理論のフレームワークを可能にする。
論文 参考訳（メタデータ） (2023-06-08T18:22:46Z) - A Measure-Theoretic Axiomatisation of Causality [55.6970314129444]
我々は、コルモゴロフの確率の測度理論的公理化を因果関係の公理化への出発点とすることを好んで論じる。
提案するフレームワークは測度理論に厳格に根ざしているが,既存のフレームワークの長期的制限にも光を当てている。
論文 参考訳（メタデータ） (2023-05-19T13:15:48Z) - A Note on Bell's Theorem Logical Consistency [0.0]
偽定性はベルの定理を下敷きにするはずである。
反事実的確定性は不必要かつ矛盾した仮定であることを示す。
論文 参考訳（メタデータ） (2020-12-16T22:14:06Z) - A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
より弱い仮定として, 2$-adjacency faithfulness を提案します。
より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
論文 参考訳（メタデータ） (2020-10-27T13:04:08Z) - Inferences and Modal Vocabulary [8.475081627511166]
単調でない推論には様々な種類があり、例えば帰納的推論がある。
物質的推論は、物質的不整合性の原理に基づいて良い推論を表現する。
概念的関係を表現するための意味のモーダル解釈を提案する。
論文 参考訳（メタデータ） (2020-07-06T01:04:06Z) - Logical Neural Networks [51.46602187496816]
ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。
すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。
推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
論文 参考訳（メタデータ） (2020-06-23T16:55:45Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳（メタデータ） (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。