論文の概要: Errors are Robustly Tamed in Cumulative Knowledge Processes

• arxiv url: http://arxiv.org/abs/2309.05638v2
• Date: Wed, 28 Feb 2024 17:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-29 18:54:09.665398
• Title: Errors are Robustly Tamed in Cumulative Knowledge Processes
• Title（参考訳）: 累積的知識プロセスにおけるエラーのロバストな評価
• Authors: Anna Brandenberger, Cassandra Marcussen, Elchanan Mossel, Madhu Sudan
• Abstract要約: 我々は,新たな知識単位の有効性が,その導出の正確性に依存する社会知識蓄積の過程を研究する。 根本的な疑問は、もし新しい導出の一定割合が間違っているなら、社会における一定の知識の一定割合が有効であることを保証できるか? これらのモデルの$textitall$については、多くのユニットが依存するユニットの有界数をチェックするための単純な相互依存に従う限り、すべてのエラーを排除します。
• 参考スコア（独自算出の注目度）: 16.598260175680732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study processes of societal knowledge accumulation, where the validity of a new unit of knowledge depends both on the correctness of its derivation and on the validity of the units it depends on. A fundamental question in this setting is: If a constant fraction of the new derivations is wrong, can investing a constant fraction, bounded away from one, of effort ensure that a constant fraction of knowledge in society is valid? Ben-Eliezer, Mikulincer, Mossel, and Sudan (ITCS 2023) introduced a concrete probabilistic model to analyze such questions and showed an affirmative answer to this question. Their study, however, focuses on the simple case where each new unit depends on just one existing unit, and units attach according to a $\textit{preferential attachment rule}$. In this work, we consider much more general families of cumulative knowledge processes, where new units may attach according to varied attachment mechanisms and depend on multiple existing units. We also allow a (random) fraction of insertions of adversarial nodes. We give a robust affirmative answer to the above question by showing that for $\textit{all}$ of these models, as long as many of the units follow simple heuristics for checking a bounded number of units they depend on, all errors will be eventually eliminated. Our results indicate that preserving the quality of large interdependent collections of units of knowledge is feasible, as long as careful but not too costly checks are performed when new units are derived/deposited.
• Abstract（参考訳）: 本研究では,新しい知識単位の妥当性が導出の正確性とそれに依存する単位の妥当性の両方に依存する社会的な知識蓄積過程について検討する。 この設定における根本的な疑問は、もし新しい導出の一定割合が間違っているなら、社会における一定の知識の一定割合が有効であることを保証するために、一定割合を投資できる。 Ben-Eliezer, Mikulincer, Mossel, Sudan (ITCS 2023) はそのような質問を分析するための具体的な確率モデルを導入し、この問題に対する肯定的な回答を示した。 しかし彼らの研究は、各新しいユニットが1つの既存のユニットに依存する単純なケースに焦点を当てており、ユニットは$\textit{preferential attachment rule}$に従ってアタッチされる。 本研究は, 累積的知識プロセスの一般的なファミリーについて考察するものであり, 新しいユニットは, 様々なアタッチメント機構に従ってアタッチメントし, 既存の複数のユニットに依存することができる。 また、逆ノードの挿入の(ランダムな)分数を許容する。 これらのモデルの$\textit{all}$に対して、多くの単位が依存する単位の有界数をチェックするための単純なヒューリスティックに従う限り、全てのエラーは最終的に排除される。 以上の結果から,新たな単位が導出・提示される際には,十分な注意を要するが,コストがかからない限り,知識単位の大規模な相互依存コレクションの品質維持が可能であることが示唆された。

関連論文リスト

• Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness [63.833913892018536]
  本研究では、固定されたファミリー$U$からデータ生成分布を適応的に選択できる分布敵の下でのシーケンシャルな意思決定について検討する。 一般化滑らか性(Generalized smoothness)という概念の観点で学習可能性を認めるファミリー$U$のほぼ完全な特徴付けを提供する。 一般化された滑らかさは,分布制約下での個人学習性も特徴付けることを示す。
  論文  参考訳（メタデータ） (2026-02-24T06:15:59Z)
• Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
  ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。 不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。 本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。 本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
  論文  参考訳（メタデータ） (2026-01-29T18:07:18Z)
• Automatically Advancing LLM Expertise in Technology Judgment [1.1269582666887323]
  大規模言語モデル(LLM)は、科学、工学、革新のための中核的なツールになりつつある。 ますます難しい問題に答えられるという印象的な能力にもかかわらず、LLMが新しい課題に直面する際に真に自分の知識を使うかどうかは不明だ。 我々は、2015年以降の1300万のコンピュータサイエンス特許ペアのベンチマークを評価し、密度の高い技術ジャーゴンと戦略的に複雑な書き込みを特徴とする。 LLMはベンチマークに失敗することが多く、セマンティックに類似した特許の識別に苦慮している。
  論文  参考訳（メタデータ） (2025-05-18T15:04:02Z)
• Inside-Out: Hidden Factual Knowledge in LLMs [50.79758420289131]
  この研究は、大言語モデル(LLM)が出力で表現したものよりも、パラメータの事実的知識を符号化するかどうかを評価するためのフレームワークを示す。 まず、与えられた質問に対して、正解が上位にランクされている正解対の分数として、その知識の形式的定義を定量化する。 次に、このフレームワークを3つの人気のあるオープンウェイト LLM に適用し、クローズドブック QA セットアップのケーススタディを示す。
  論文  参考訳（メタデータ） (2025-03-19T15:21:48Z)
• IIU: Independent Inference Units for Knowledge-based Visual Question Answering [7.3787088958663665]
  細粒度マルチモーダル推論のための独立推論ユニット(IIU)を提案する。 IIUは機能的に独立したユニットによってモジュール内情報を分解する。 我々のモデルは、新しい最先端を実現し、性能を3%向上し、基礎的な事前訓練されたマルチモーダルモデルを超えた。
  論文  参考訳（メタデータ） (2024-08-15T07:30:47Z)
• ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
  外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-12-15T18:20:15Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Weakly Supervised Representation Learning with Sparse Perturbations [82.39171485023276]
  潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。 本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
  論文  参考訳（メタデータ） (2022-06-02T15:30:07Z)
• Towards efficient representation identification in supervised learning [32.3875659102181]
  人間は複雑な感覚入力を分解する驚くべき能力を持っている。 我々は,補助情報次元が真の潜在表現の次元よりもはるかに小さい場合でも,絡み合いが可能であることを理論的,実験的に示す。
  論文  参考訳（メタデータ） (2022-04-10T05:34:13Z)
• Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
  フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。 2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。 このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
  論文  参考訳（メタデータ） (2022-03-22T15:35:10Z)
• Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
  我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。 特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。 以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-08T16:39:57Z)
• Diverse, Global and Amortised Counterfactual Explanations for Uncertainty Estimates [31.241489953967694]
  このような集合の多様性を研究し、多くの CLUE が冗長であることを示す。 そこで我々は,不確実な入力の特定のグループに対する償却写像を学習する,GLobal AMortized CLUE (GLAM-CLUE) を提案する。 実験の結果,$delta$-CLUE,$nabla$-CLUE,およびGLAM-CLUEはすべて,CLUEの欠点に対処し,不確実性推定を実践者に有益に説明できることを示した。
  論文  参考訳（メタデータ） (2021-12-05T18:27:21Z)
• Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
  質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。 具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。 2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2021-04-18T06:17:54Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。