論文の概要: Mapping Monotonic Restrictions in Inductive Inference

• arxiv url: http://arxiv.org/abs/2010.09464v1
• Date: Thu, 15 Oct 2020 08:54:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 05:28:28.873821
• Title: Mapping Monotonic Restrictions in Inductive Inference
• Title（参考訳）: 帰納的推論における単調制限のマッピング
• Authors: Vanja Dosko\v{c} and Timo K\"otzing
• Abstract要約: 本研究は, 単調学習者と強い単調学習者との違いと類似点を示す。 特に,説明的単調学習者は強く強いが,強い単調学習に見られるような対関係をほとんど(ほとんど)維持していることを示す。 最も注目すべきは、モノトーン学習者は、強いモノトーン学習とは対照的に、情報が与えられる順序に大きく依存していることである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In language learning in the limit we investigate computable devices (learners) learning formal languages. Through the years, many natural restrictions have been imposed on the studied learners. As such, monotonic restrictions always enjoyed particular attention as, although being a natural requirement, monotonic learners show significantly diverse behaviour when studied in different settings. A recent study thoroughly analysed the learning capabilities of strongly monotone learners imposed with memory restrictions and various additional requirements. The unveiled differences between explanatory and behaviourally correct such learners motivate our studies of monotone learners dealing with the same restrictions. We reveal differences and similarities between monotone learners and their strongly monotone counterpart when studied with various additional restrictions. In particular, we show that explanatory monotone learners, although known to be strictly stronger, do (almost) preserve the pairwise relation as seen in strongly monotone learning. Contrasting this similarity, we find substantial differences when studying behaviourally correct monotone learners. Most notably, we show that monotone learners, as opposed to their strongly monotone counterpart, do heavily rely on the order the information is given in, an unusual result for behaviourally correct learners.
• Abstract（参考訳）: 言語学習においては,形式言語を学習する計算可能なデバイス(学習者)について検討する。 長年にわたり、学習者に対して多くの自然制限が課されてきた。 このように、モノトニックな制限は常に特別な注意を向けており、自然の要求であるにもかかわらず、モノトニックな学習者は異なる設定で研究する場合に非常に多様な行動を示す。 最近の研究では、メモリ制限と様々な追加要件を課した強い単調学習者の学習能力を徹底的に分析した。 説明的および行動的に正しい学習者間の差異は,同じ制限を扱う単調学習者の研究を動機づける。 本研究は, 単調学習者と強い単調学習者との違いと類似点を明らかにする。 特に,説明的単調学習者は強く強いが,強い単調学習に見られるような対関係をほとんど(ほとんど)維持していることを示す。 この類似性とは対照的に、行動学的に正しい単調学習者を研究する際、かなりの違いがある。 とくに、モノトーン学習者は、強いモノトーン学習とは対照的に、情報が与える順序に大きく依存していることが示され、これは行動的に正しい学習者にとって珍しい結果である。

関連論文リスト

• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• How to address monotonicity for model risk management? [1.0878040851638]
  本稿では, 個々の単調性, 弱い対単調性, 強い対単調性という, 3種類の単調性の存在下での透明ニューラルネットワークについて検討する。 透明性を維持しながらモノトニック性を達成する手段として,ニューラル付加モデルのモノトニックグローブを提案する。
  論文  参考訳（メタデータ） (2023-04-28T04:21:02Z)
• Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
  本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。 本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
  論文  参考訳（メタデータ） (2023-03-16T09:14:26Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• On Biasing Transformer Attention Towards Monotonicity [20.205388243570003]
  標準注意機構と互換性のある単調性損失関数を導入し,いくつかのシーケンスからシーケンスへのタスクでテストする。 実験により、ほとんど単調な振る舞いが達成できることが示される。 一般的な単調性はトランスマルチヘッドの注意に役立ちませんが、単調な行動に偏っているのは、ヘッドのサブセットのみです。
  論文  参考訳（メタデータ） (2021-04-08T17:42:05Z)
• Normal Forms for (Semantically) Witness-Based Learners in Inductive Inference [0.0]
  本研究では,形式言語を推論する学習者(計算可能なデバイス)について,限定的あるいは帰納的推論において言語学習と呼ばれる設定について検討する。 調査対象の学習者は,それぞれの心の変化を正当化するために,証人に基づく学習を行う。 セット駆動のグローバルなセマンティックな目撃者ベースの学習者は、ゴールドスタイルのセマンティックな保守的な学習者と同じくらい強力であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T09:18:27Z)
• Learning Languages in the Limit from Positive Information with Finitely Many Memory Changes [0.0]
  非U字型性は制限的ではなく、保守性や(強い)単調性は制限的であることを示す。 また,2つの設定が異なる非意味的制約(強い非U字型性)の例を示す。
  論文  参考訳（メタデータ） (2020-10-09T19:59:49Z)
• Counterexample-Guided Learning of Monotonic Neural Networks [32.73558242733049]
  単調性制約に注目するが、これは一般的であり、特定の入力特徴の値が増加するにつれて関数の出力が増加することが要求される。 本研究では,予測時の単調性制約を確実に強制する逆例誘導手法を開発した。 深層学習の帰納バイアスとして単調性を用いる手法も提案する。
  論文  参考訳（メタデータ） (2020-06-16T01:04:26Z)
• Exact Hard Monotonic Attention for Character-Level Transduction [76.66797368985453]
  非単調なソフトアテンションを用いたニューラルシークエンス・ツー・シーケンスモデルは、しばしば一般的な単調モデルよりも優れていることを示す。 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学習するハードアテンションシーケンス・ツー・シーケンス・モデルを開発した。
  論文  参考訳（メタデータ） (2019-05-15T17:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。