論文の概要: Steering Prepositional Phrases in Language Models: A Case of with-headed Adjectival and Adverbial Complements in Gemma-2

• arxiv url: http://arxiv.org/abs/2509.23204v1
• Date: Sat, 27 Sep 2025 09:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.103113
• Title: Steering Prepositional Phrases in Language Models: A Case of with-headed Adjectival and Adverbial Complements in Gemma-2
• Title（参考訳）: 言語モデルにおける前置詞のステアリング:Gemma-2における形容詞と副詞の併用例
• Authors: Stefan Arnold, René Gröbner,
• Abstract要約: 本研究の目的は,前置詞の生成を解明し,制御することである。 単一アテンションヘッドの値ベクトルをスケールすることにより、補体の機能的役割の分布を33%に減らし、属性を36%に高めることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models, when generating prepositional phrases, must often decide for whether their complements functions as an instrumental adjunct (describing the verb adverbially) or an attributive modifier (enriching the noun adjectivally), yet the internal mechanisms that resolve this split decision remain poorly understood. In this study, we conduct a targeted investigation into Gemma-2 to uncover and control the generation of prepositional complements. We assemble a prompt suite containing with-headed prepositional phrases whose contexts equally accommodate either an instrumental or attributive continuation, revealing a strong preference for an instrumental reading at a ratio of 3:4. To pinpoint individual attention heads that favor instrumental over attributive complements, we project activations into the vocabulary space. By scaling the value vector of a single attention head, we can shift the distribution of functional roles of complements, attenuating instruments to 33% while elevating attributes to 36%.
• Abstract（参考訳）: 言語モデル(Language Models)は、前置詞句を生成する際に、その補語が代名詞の副詞として機能するか(動詞を副詞的に記述する)または帰属修飾詞(名詞を形容詞的に強化する)かを判断しなければならないが、この分割決定を解決する内部メカニズムはいまだよく理解されていない。 本研究では, Gemma-2を対象とし, 前置補体の生成を解明し, 制御する。 3:4の比率で楽器の読解を強く好むことを明らかにするため,前置詞句を含むプロンプトスイートを組立てた。 帰属的補数よりも器用性を好む個々の注意をピンポイントするために、我々は語彙空間にアクティベーションを投影する。 単一アテンションヘッドの値ベクトルをスケールすることにより、補体の機能的役割の分布を33%に減らし、属性を36%に高めることができる。

関連論文リスト

• Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models [68.83330172211315]
  本研究では,トランスフォーマーベース言語モデル(LLM)を用いて,現実的なリコール処理を行うメカニズムについて検討する。 出力の出力を人間の理解するコンポーネントに分解することを目的とした,新しい分析手法を提案する。 我々は、事実的リコールの信頼性を高めるために、私たちの解釈を活用することで、この抑制を緩和する。
  論文  参考訳（メタデータ） (2024-03-28T15:54:59Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• FGSI: Distant Supervision for Relation Extraction method based on Fine-Grained Semantic Information [2.6587175537360137]
  文内のキーセマンティック情報は、エンティティの関係抽出において重要な役割を果たす。 本稿では,文内のキーセマンティック情報が,エンティティ関係抽出において重要な役割を果たすという仮説を提案する。 提案した関係抽出モデルは、利用可能な正のセマンティック情報を完全に活用することができる。
  論文  参考訳（メタデータ） (2023-02-04T03:30:07Z)
• Tri-Attention: Explicit Context-Aware Attention Mechanism for Natural Language Processing [36.210058079145085]
  自然言語処理のための新しい三重注意(Tri-Attention)フレームワークを開発した。 Tri-Attentionは、クエリ、キー、コンテキストを、関連スコアを計算するための第3の次元として組み込むことによって、明示的に相互作用する。 3つのNLPタスクの実験は、Tri-Attentionが30の最先端非アテンションアプローチより優れていることを示した。
  論文  参考訳（メタデータ） (2022-11-05T13:07:40Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Self-supervised speech unit discovery from articulatory and acoustic features using VQ-VAE [2.771610203951056]
  本研究では,自己教師型環境下での音声単位の発見に,調音情報をどのように利用できるかを検討する。 我々はベクトル量子化変分オートエンコーダ(VQ-VAE)を用いて音声・音声データから離散表現を学習した。 実験は英語とフランス語の3つの異なるコーパスで行われた。
  論文  参考訳（メタデータ） (2022-06-17T14:04:24Z)
• Aspect Sentiment Quad Prediction as Paraphrase Generation [53.33072918744124]
  Aspect Sentiment Quad Prediction (ASQP)タスクを導入し、与えられた意見文に対するクワッド内のすべての感情要素を共同で検出することを目的とした。 本稿では,ASQP タスクをパラフレーズ生成プロセスにキャストする新しいtextscParaphrase モデリングパラダイムを提案する。 一方、感情要素のセマンティクスは、自然言語形式でそれらを生成する学習によって完全に活用することができる。
  論文  参考訳（メタデータ） (2021-10-02T12:57:27Z)
• Attention-Based Neural Networks for Sentiment Attitude Extraction using Distant Supervision [0.0]
  我々は,(1)特徴ベース,(2)自己ベースという2種類の注意的文脈エンコーダを適応させる。 RuSentRelコーパスを用いた実験では、トレーニングにRuAttitudesコーパスを使用する3クラス分類モデルが10%増加し、F1により3%余分に増加した。
  論文  参考訳（メタデータ） (2020-06-23T13:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。