論文の概要: Both Direct and Indirect Evidence Contribute to Dative Alternation Preferences in Language Models

• arxiv url: http://arxiv.org/abs/2503.20850v1
• Date: Wed, 26 Mar 2025 17:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:53:28.788916
• Title: Both Direct and Indirect Evidence Contribute to Dative Alternation Preferences in Language Models
• Title（参考訳）: 言語モデルにおける直接的および間接的エビデンスと傾向的交替優先度の関係
• Authors: Qing Yao, Kanishka Misra, Leonie Weissweiler, Kyle Mahowald,
• Abstract要約: 我々は、長さとアニマシー(animacy)という、交互に選択する性質に焦点を当てている。 長さとアニマシーの直接的な証拠は重要であるが、そのような証拠がなくても、簡単優先の選好は継続する。 LMの創発的な構文的嗜好は、直接的および間接的ソースの混合に由来すると結論付けている。
• 参考スコア（独自算出の注目度）: 18.643297700066448
• License:
• Abstract: Language models (LMs) tend to show human-like preferences on a number of syntactic phenomena, but the extent to which these are attributable to direct exposure to the phenomena or more general properties of language is unclear. We explore this with the English dative alternation (DO: "gave Y the X" vs. PO: "gave the X to Y"), using a controlled rearing paradigm wherein we iteratively train small LMs on systematically manipulated input. We focus on properties that affect the choice of alternant: length and animacy. Both properties are directly present in datives but also reflect more global tendencies for shorter elements to precede longer ones and animates to precede inanimates. First, by manipulating and ablating datives for these biases in the input, we show that direct evidence of length and animacy matters, but easy-first preferences persist even without such evidence. Then, using LMs trained on systematically perturbed datasets to manipulate global length effects (re-linearizing sentences globally while preserving dependency structure), we find that dative preferences can emerge from indirect evidence. We conclude that LMs' emergent syntactic preferences come from a mix of direct and indirect sources.
• Abstract（参考訳）: 言語モデル(LM)は、多くの構文現象に対して人間のような嗜好を示す傾向にあるが、それらが直接現象や言語のより一般的な性質に触れることに起因する範囲は不明確である。 我々はこれを、制御された再配置パラダイムを用いて、体系的に操作された入力に対して、小さなLMを反復的に訓練する、英語のDative alternation(DO: "gave Y the X" vs. PO: "gave the X to Y")を用いて探索する。 我々は、長さとアニマシー(animacy)という、交互に選択する性質に焦点を当てている。 両方の性質は直接基数に存在するが、より短い元素がより長い元素に先行し、アニメートがアニメートに先行する傾向も反映している。 まず、入力中のこれらのバイアスを操作・非難することにより、長さとアニマシーの直接的な証拠が重要であるが、そのような証拠がなくても、簡単優先の嗜好は持続することを示す。 そして、体系的な摂動データセットに基づいて訓練されたLMを用いて、グローバルな長さ効果(依存構造を保ちながらグローバルに線形化する文)を制御し、間接的な証拠からDative preferencesが出現することを発見した。 LMの創発的な構文的嗜好は、直接的および間接的ソースの混合に由来すると結論付けている。

関連論文リスト

• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• Would I Lie To You? Inference Time Alignment of Language Models using Direct Preference Heads [11.254305578659002]
  言語モデリングヘッドの出力分布に直接影響を及ぼすことなく、補助的な報酬ヘッドを通して人間の嗜好信号を学習できる微調整フレームワークであるDirect Preference Heads (DPH)を導入する。 GLUE, RACE, および GPT4All 評価スイート上で本モデルを評価し, スーパービジョンファインチューニング (SFT) やダイレクトパラメータ最適化 (DPO) のみを用いたモデルよりも高いスコアが得られることを示す。
  論文  参考訳（メタデータ） (2024-05-30T13:38:52Z)
• Fine-Grained Self-Endorsement Improves Factuality and Reasoning [72.83651220132495]
  本研究は, 大規模言語モデル (LLM) 世代を推定時に改善するために, ファクト・コンプレッション・幻覚を緩和する。 本稿では,複数のサンプル応答におけるファクトレベルの詳細な比較を生かした自己組織化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-23T22:24:40Z)
• Preference-Conditioned Language-Guided Abstraction [24.626805570296064]
  我々は、人間の振る舞いが世界を見る方法を明らかにするのを観察する。 本研究では,行動の変化が生じたという知識を前提として,言語モデル(LM)を用いてこれらの嗜好を直接クエリする手法を提案する。 本研究では,シミュレーション実験,ユーザスタディ,モバイル操作タスクを行う実際のSpotロボット上で,効果的な嗜好条件抽象化を構築するためのフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2024-02-05T15:12:15Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• Reinforcement Learning Fine-tuning of Language Models is Biased Towards More Extractable Features [0.5937476291232802]
  我々は,大規模言語モデルの教師付き微調整における帰納的バイアスを規定する原則が,強化学習を用いた微調整プロセスにおいても適用できるかどうかを考察する。 これらの仮説の強い証拠となる統計的に有意な相関関係を見いだす。
  論文  参考訳（メタデータ） (2023-11-07T15:00:39Z)
• Can LLMs Capture Human Preferences? [5.683832910692926]
  本研究では,人間の調査回答をエミュレートし,好みを提示する上で,Large Language Models (LLMs) の生存可能性について検討する。 我々はLLMからの反応を様々な言語で比較し、それらを人間の反応と比較し、より小さく、より早く、より大きい、後の報酬の間の好みを探求する。 以上の結果より, GPT-3.5はヒトの意思決定者とは異なり, 早期の報酬に対するレキソグラフィな嗜好を示し, GPT-3.5はヒトよりも忍耐力が低いことが示唆された。
  論文  参考訳（メタデータ） (2023-05-04T03:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。