論文の概要: Errors are Robustly Tamed in Cumulative Knowledge Processes
- arxiv url: http://arxiv.org/abs/2309.05638v2
- Date: Wed, 28 Feb 2024 17:02:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 18:54:09.665398
- Title: Errors are Robustly Tamed in Cumulative Knowledge Processes
- Title（参考訳）: 累積的知識プロセスにおけるエラーのロバストな評価
- Authors: Anna Brandenberger, Cassandra Marcussen, Elchanan Mossel, Madhu Sudan
- Abstract要約: 我々は,新たな知識単位の有効性が,その導出の正確性に依存する社会知識蓄積の過程を研究する。
根本的な疑問は、もし新しい導出の一定割合が間違っているなら、社会における一定の知識の一定割合が有効であることを保証できるか?
これらのモデルの$textitall$については、多くのユニットが依存するユニットの有界数をチェックするための単純な相互依存に従う限り、すべてのエラーを排除します。
- 参考スコア（独自算出の注目度）: 16.598260175680732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study processes of societal knowledge accumulation, where the validity of
a new unit of knowledge depends both on the correctness of its derivation and
on the validity of the units it depends on. A fundamental question in this
setting is: If a constant fraction of the new derivations is wrong, can
investing a constant fraction, bounded away from one, of effort ensure that a
constant fraction of knowledge in society is valid? Ben-Eliezer, Mikulincer,
Mossel, and Sudan (ITCS 2023) introduced a concrete probabilistic model to
analyze such questions and showed an affirmative answer to this question. Their
study, however, focuses on the simple case where each new unit depends on just
one existing unit, and units attach according to a $\textit{preferential
attachment rule}$.
In this work, we consider much more general families of cumulative knowledge
processes, where new units may attach according to varied attachment mechanisms
and depend on multiple existing units. We also allow a (random) fraction of
insertions of adversarial nodes.
We give a robust affirmative answer to the above question by showing that for
$\textit{all}$ of these models, as long as many of the units follow simple
heuristics for checking a bounded number of units they depend on, all errors
will be eventually eliminated. Our results indicate that preserving the quality
of large interdependent collections of units of knowledge is feasible, as long
as careful but not too costly checks are performed when new units are
derived/deposited.
- Abstract（参考訳）: 本研究では,新しい知識単位の妥当性が導出の正確性とそれに依存する単位の妥当性の両方に依存する社会的な知識蓄積過程について検討する。
この設定における根本的な疑問は、もし新しい導出の一定割合が間違っているなら、社会における一定の知識の一定割合が有効であることを保証するために、一定割合を投資できる。
Ben-Eliezer, Mikulincer, Mossel, Sudan (ITCS 2023) はそのような質問を分析するための具体的な確率モデルを導入し、この問題に対する肯定的な回答を示した。
しかし彼らの研究は、各新しいユニットが1つの既存のユニットに依存する単純なケースに焦点を当てており、ユニットは$\textit{preferential attachment rule}$に従ってアタッチされる。
本研究は, 累積的知識プロセスの一般的なファミリーについて考察するものであり, 新しいユニットは, 様々なアタッチメント機構に従ってアタッチメントし, 既存の複数のユニットに依存することができる。
また、逆ノードの挿入の(ランダムな)分数を許容する。
これらのモデルの$\textit{all}$に対して、多くの単位が依存する単位の有界数をチェックするための単純なヒューリスティックに従う限り、全てのエラーは最終的に排除される。
以上の結果から,新たな単位が導出・提示される際には,十分な注意を要するが,コストがかからない限り,知識単位の大規模な相互依存コレクションの品質維持が可能であることが示唆された。
関連論文リスト
- IIU: Independent Inference Units for Knowledge-based Visual Question Answering [7.3787088958663665]
細粒度マルチモーダル推論のための独立推論ユニット(IIU)を提案する。
IIUは機能的に独立したユニットによってモジュール内情報を分解する。
我々のモデルは、新しい最先端を実現し、性能を3%向上し、基礎的な事前訓練されたマルチモーダルモデルを超えた。
論文 参考訳（メタデータ） (2024-08-15T07:30:47Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳（メタデータ） (2023-12-15T18:20:15Z) - The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources
in Natural Language Understanding Systems [87.3207729953778]
我々は、データセット上で最先端のコア参照解決モデルを評価する。
いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。
それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
論文 参考訳（メタデータ） (2022-12-15T23:26:54Z) - Weakly Supervised Representation Learning with Sparse Perturbations [82.39171485023276]
潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。
本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
論文 参考訳（メタデータ） (2022-06-02T15:30:07Z) - Towards efficient representation identification in supervised learning [32.3875659102181]
人間は複雑な感覚入力を分解する驚くべき能力を持っている。
我々は,補助情報次元が真の潜在表現の次元よりもはるかに小さい場合でも,絡み合いが可能であることを理論的,実験的に示す。
論文 参考訳（メタデータ） (2022-04-10T05:34:13Z) - Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。
2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。
このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
論文 参考訳（メタデータ） (2022-03-22T15:35:10Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳（メタデータ） (2022-02-08T16:39:57Z) - Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。
具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。
2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2021-04-18T06:17:54Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳（メタデータ） (2021-01-17T07:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。