論文の概要: The Curious Case of Control

• arxiv url: http://arxiv.org/abs/2205.12113v1
• Date: Tue, 24 May 2022 14:45:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 20:17:20.294773
• Title: The Curious Case of Control
• Title（参考訳）: 奇妙な制御のケースは
• Authors: Elias Stengel-Eskin and Benjamin Van Durme
• Abstract要約: 子どもたちは、ほぼ順調な能力に到達した後でも、主観的制御文に対して体系的な誤りを犯す。 モデルが行動によって3つのグループに分類できることがわかった。 エージェントと患者の関係性を高めることで、ほとんどのモデルのアウトプットに顕著な変化が生じることが判明した。
• 参考スコア（独自算出の注目度）: 37.28245521206576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Children acquiring English make systematic errors on subject control sentences even after they have reached near-adult competence (C. Chomsky, 1969), possibly due to heuristics based on semantic roles (Maratsos, 1974). Given the advanced fluency of large generative language models, we ask whether model outputs are consistent with these heuristics, and to what degree different models are consistent with each other. We find that models can be categorized by behavior into three separate groups, with broad differences between the groups. The outputs of models in the largest group are consistent with positional heuristics that succeed on subject control but fail on object control. This result is surprising, given that object control is orders of magnitude more frequent in the text data used to train such models. We examine to what degree the models are sensitive to prompting with agent-patient information, finding that raising the salience of agent and patient relations results in significant changes in the outputs of most models. Based on this observation, we leverage an existing dataset of semantic proto-role annotations (White, et al. 2020) to explore the connections between control and labeling event participants with properties typically associated with agents and patients.
• Abstract（参考訳）: 英語を習得した子どもたちは、近親相姦能力(C. Chomsky, 1969)に到達した後でも、主題制御文の体系的な誤りを犯す(Maratsos, 1974)。 大規模生成型言語モデルの高度な流束を考えると、モデル出力はこれらのヒューリスティックと一貫性があるのか、そしてどの程度異なるモデルが相互に一貫性があるのかを問う。 モデルは行動によって3つの別々のグループに分類できるが、グループ間では幅広い差異がある。 最大群におけるモデルの出力は、対象制御では成功するが対象制御では失敗する位置ヒューリスティックと一致している。 このようなモデルのトレーニングに使用されるテキストデータでは、オブジェクトの制御が桁違いに頻繁に行われることを考えると、この結果は驚きです。 エージェントと患者の関係性を高めることが,ほとんどのモデルのアウトプットに大きな変化をもたらすことを見出し,モデルがエージェントと患者の情報を促すのにどの程度敏感であるかを調査した。 この観察に基づいて,既存のセマンティクス・プロトロール・アノテーション(white, et al. 2020)のデータセットを利用して,エージェントや患者に典型的に関連づけられる特性を持ったコントロールとイベント参加者のラベル付けの関連を探索する。

関連論文リスト

• Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
  一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。 以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
  論文  参考訳（メタデータ） (2024-04-02T22:27:24Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues [19.4921353136871]
  実験サンプルがトレーニング中に見つからないパターンを示す場合の多様性シフトと、テストデータが観察された不変性と急激な特徴の異なる相関を示す場合の相関シフトの2種類について検討した。 そこで我々は,両タイプのシフトをデータセットを用いて分析し,制御可能な方法で共存する統合プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T23:40:23Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Does Your Model Classify Entities Reasonably? Diagnosing and Mitigating Spurious Correlations in Entity Typing [29.820473012776283]
  既存のエンティティ型付けモデルは、素早い相関の問題に直面している。 既存のモデルバイアスには、参照コンテキストバイアス、語彙オーバーラップバイアス、名前付きエンティティバイアス、代名詞バイアス、依存性バイアス、一般化バイアスの6種類がある。 オリジナルのトレーニングセットをバイアスなしのトレーニングセットで強化することで、モデルは文を完全に理解せざるを得なくなる。
  論文  参考訳（メタデータ） (2022-05-25T10:34:22Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Recommendations for Bayesian hierarchical model specifications for case-control studies in mental health [0.0]
  研究者は、すべての被験者が共通の集団から引き出されたと仮定するか、またはそれらを別の集団から派生したものとしてモデル化するかを選択する必要がある。 一般的に使用される帯域幅タスクから合成多群行動データに対する系統シミュレーションを行った。 適合群は,全ての条件において,最も正確かつ堅牢な推論を別々に提供した。
  論文  参考訳（メタデータ） (2020-11-03T14:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。