論文の概要: Combinative Cumulative Knowledge Processes
- arxiv url: http://arxiv.org/abs/2309.05638v1
- Date: Mon, 11 Sep 2023 17:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 11:39:40.536748
- Title: Combinative Cumulative Knowledge Processes
- Title（参考訳）: 組合せ累積的知識プロセス
- Authors: Anna Brandenberger, Cassandra Marcussen, Elchanan Mossel, Madhu Sudan
- Abstract要約: Ben-Eliezer, Mikulincer, Mossel, Sudan (ITCS 2023) による累積知識プロセスの解析
我々の研究の主な目的は、一般的なプロセスがいつ安全か、すなわち、エラーの影響が制御下にあるかを理解することである。
- 参考スコア（独自算出の注目度）: 16.598260175680732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyze Cumulative Knowledge Processes, introduced by Ben-Eliezer,
Mikulincer, Mossel, and Sudan (ITCS 2023), in the setting of "directed acyclic
graphs", i.e., when new units of knowledge may be derived by combining multiple
previous units of knowledge. The main considerations in this model are the role
of errors (when new units may be erroneous) and local checking (where a few
antecedent units of knowledge are checked when a new unit of knowledge is
discovered). The aforementioned work defined this model but only analyzed an
idealized and simplified "tree-like" setting, i.e., a setting where new units
of knowledge only depended directly on one previously generated unit of
knowledge.
The main goal of our work is to understand when the general process is safe,
i.e., when the effect of errors remains under control. We provide some
necessary and some sufficient conditions for safety. As in the earlier work, we
demonstrate that the frequency of checking as well as the depth of the checks
play a crucial role in determining safety. A key new parameter in the current
work is the $\textit{combination factor}$ which is the distribution of the
number of units $M$ of old knowledge that a new unit of knowledge depends on.
Our results indicate that a large combination factor can compensate for a small
depth of checking. The dependency of the safety on the combination factor is
far from trivial. Indeed some of our main results are stated in terms of
$\mathbb{E}\{1/M\}$ while others depend on $\mathbb{E}\{M\}$.
- Abstract（参考訳）: 本研究では,ben-eliezer,mikulincer,mossel,sudan (itcs 2023) が導入した累積的知識過程を,複数の知識単位を組み合わせて新たな知識単位が導出される場合の「指向的非循環グラフ」の設定で解析する。
このモデルの主な考慮事項は、エラー(新しいユニットが誤った場合)とローカルチェック(新しいユニットが発見されたとき、いくつかの先行する知識ユニットがチェックされる)の役割である。
上記の研究はこのモデルを定義したが、理想化され単純化された「木のような」設定、すなわち、新しい知識単位が以前に生成された知識単位にのみ依存する設定のみを分析した。
私たちの仕事の主な目標は、一般的なプロセスが安全である場合、すなわちエラーの影響が制御されている場合を理解することです。
我々は安全のために必要かつ十分な条件を提供する。
以前の研究と同様に、チェックの頻度とチェックの深さが安全性を決定する上で重要な役割を担っていることを示す。
現在の作業における重要な新しいパラメータは$\textit{combination factor}$であり、これは新しい知識単位が依存する古い知識の単位数$m$の分布である。
以上の結果から, 組み合わせ係数が小深度で補正できることが示唆された。
組み合わせ係数に対する安全性の依存は、決して自明ではない。
実際、我々の主な結果のいくつかは$\mathbb{E}\{1/M\}$で述べられているが、他のものは$\mathbb{E}\{M\}$に依存している。
関連論文リスト
- IIU: Independent Inference Units for Knowledge-based Visual Question Answering [7.3787088958663665]
細粒度マルチモーダル推論のための独立推論ユニット(IIU)を提案する。
IIUは機能的に独立したユニットによってモジュール内情報を分解する。
我々のモデルは、新しい最先端を実現し、性能を3%向上し、基礎的な事前訓練されたマルチモーダルモデルを超えた。
論文 参考訳（メタデータ） (2024-08-15T07:30:47Z) - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.508669199496474]
外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。
エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。
引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
論文 参考訳（メタデータ） (2023-12-15T18:20:15Z) - The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources
in Natural Language Understanding Systems [87.3207729953778]
我々は、データセット上で最先端のコア参照解決モデルを評価する。
いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。
それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
論文 参考訳（メタデータ） (2022-12-15T23:26:54Z) - Weakly Supervised Representation Learning with Sparse Perturbations [82.39171485023276]
潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。
本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
論文 参考訳（メタデータ） (2022-06-02T15:30:07Z) - Towards efficient representation identification in supervised learning [32.3875659102181]
人間は複雑な感覚入力を分解する驚くべき能力を持っている。
我々は,補助情報次元が真の潜在表現の次元よりもはるかに小さい場合でも,絡み合いが可能であることを理論的,実験的に示す。
論文 参考訳（メタデータ） (2022-04-10T05:34:13Z) - Clustering units in neural networks: upstream vs downstream information [3.222802562733787]
フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。
2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。
このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
論文 参考訳（メタデータ） (2022-03-22T15:35:10Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳（メタデータ） (2022-02-08T16:39:57Z) - Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。
具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。
2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2021-04-18T06:17:54Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳（メタデータ） (2021-01-17T07:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。