論文の概要: Non-uniform Online Learning: Towards Understanding Induction
- arxiv url: http://arxiv.org/abs/2312.00170v1
- Date: Thu, 30 Nov 2023 20:02:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:38:38.993334
- Title: Non-uniform Online Learning: Towards Understanding Induction
- Title(参考訳): 非一様オンライン学習:インダクションの理解に向けて
- Authors: Zhou Lu
- Abstract要約: 非一様オンライン学習の概念を導入し、帰納的推論の原理とより密接に一致していると主張している。
実現可能な設定では、有限誤差で学習可能性の完全な特徴づけを提供する。
結果をより現実的な設定にまで拡張し、Littlestoneクラスの可算和が後悔して学習できることを示します。
- 参考スコア(独自算出の注目度): 3.4991031406102238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can a physicist make only finite errors in the endless pursuit of the law of
nature? This millennium-old question of inductive inference is a fundamental,
yet mysterious problem in philosophy, lacking rigorous justifications. While
classic online learning theory and inductive inference share a similar
sequential decision-making spirit, the former's reliance on an adaptive
adversary and worst-case error bounds limits its applicability to the latter.
In this work, we introduce the concept of non-uniform online learning, which we
argue aligns more closely with the principles of inductive reasoning. This
setting assumes a predetermined ground-truth hypothesis and considers
non-uniform, hypothesis-wise error bounds. In the realizable setting, we
provide a complete characterization of learnability with finite error: a
hypothesis class is non-uniform learnable if and only if it's a countable union
of Littlestone classes, no matter the observations are adaptively chosen or iid
sampled. Additionally, we propose a necessary condition for the weaker
criterion of consistency which we conjecture to be tight. To further promote
our theory, we extend our result to the more realistic agnostic setting,
showing that any countable union of Littlestone classes can be learnt with
regret $\tilde{O}(\sqrt{T})$. We hope this work could offer a new perspective
of interpreting the power of induction from an online learning viewpoint.
- Abstract(参考訳): 物理学者は自然法則の無限の追求において有限の誤りしか作れないのか。
この千年紀前の帰納的推論の問題は哲学の基本的だが神秘的な問題であり、厳密な正当化を欠いている。
古典的なオンライン学習理論と帰納的推論は、同様の連続的な意思決定精神を共有しているが、前者の適応的な逆や最悪のケース境界への依存は、後者の適用性を制限する。
本稿では,非一様オンライン学習の概念を紹介し,帰納的推論の原理と密接な関係にあると論じる。
この設定は、所定の基底真実仮説を仮定し、一様でない仮説的な誤り境界を考える。
仮説クラスが一様でないことは、それがリトルストーンクラスの可算結合であることと、観測が適応的に選択されたり、iidがサンプリングされたりしても、それが可算である場合に限る。
さらに,タイトであると思われる一貫性の弱い基準に対して必要条件を提案する。
我々の理論をさらに推進するために、我々の結果はより現実的な非依存的な設定にまで拡張され、Littlestoneクラスの可算和は、後悔の$\tilde{O}(\sqrt{T})$で学習可能であることを示す。
この研究が、オンライン学習の視点から誘導の力を解釈する新しい視点をもたらすことを期待している。
関連論文リスト
- Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of
Language Models with Hypothesis Refinement [95.10400704620797]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳(メタデータ) (2023-10-12T17:51:10Z) - Learnability with PAC Semantics for Multi-agent Beliefs [38.88111785113001]
推論と帰納の緊張は、おそらく哲学、認知、人工知能といった分野において最も根本的な問題である。
Valiant氏は、学習の課題は推論と統合されるべきである、と認識した。
古典的な包含よりも弱いが、クエリに応答する強力なモデル理論のフレームワークを可能にする。
論文 参考訳(メタデータ) (2023-06-08T18:22:46Z) - Abductive Commonsense Reasoning Exploiting Mutually Exclusive
Explanations [118.0818807474809]
帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。
自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。
この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:35:10Z) - An Embedding-based Approach to Inconsistency-tolerant Reasoning with
Inconsistent Ontologies [12.760301272393898]
本稿では,公理の埋め込みに基づく一貫性のない意味論による推論手法を提案する。
組込みに基づく手法は、最大一貫した部分集合に基づく既存の矛盾耐性推論手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-04-04T09:38:02Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳(メタデータ) (2022-03-25T05:36:26Z) - Generalized Label Shift Correction via Minimum Uncertainty Principle:
Theory and Algorithm [20.361516866096007]
一般的なラベルシフトは、望ましい知識の学習と伝達に関する洞察を提供する。
これらの課題に対処するための条件適応フレームワークを提案する。
実験結果から,提案モデルが競争性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2022-02-26T02:39:47Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - A Note on Bell's Theorem Logical Consistency [0.0]
偽定性はベルの定理を下敷きにするはずである。
反事実的確定性は不必要かつ矛盾した仮定であることを示す。
論文 参考訳(メタデータ) (2020-12-16T22:14:06Z) - A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
より弱い仮定として, 2$-adjacency faithfulness を提案します。
より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
論文 参考訳(メタデータ) (2020-10-27T13:04:08Z) - Inferences and Modal Vocabulary [8.475081627511166]
単調でない推論には様々な種類があり、例えば帰納的推論がある。
物質的推論は、物質的不整合性の原理に基づいて良い推論を表現する。
概念的関係を表現するための意味のモーダル解釈を提案する。
論文 参考訳(メタデータ) (2020-07-06T01:04:06Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳(メタデータ) (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。