論文の概要: Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation

• arxiv url: http://arxiv.org/abs/2609.28117v1
• Date: Wed, 23 Sep 2026 13:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.050348
• Title: Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation
• Title（参考訳）: 文脈認識機械翻訳におけるグラディエントベース属性による注意ヘッドのスケーリング解析
• Abstract要約: トケンレベルMax-Margin損失をアテンションマップにバックプロパゲーションする,勾配に基づく頭部属性戦略を導入する。 文脈認識機械翻訳における曖昧さの課題について,本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 10.29311882711665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a gradient-based head attribution strategy where the Token-level Max-Margin loss is backpropagated to the attention maps. This framework enables a large-scale causal analysis of attention heads, making it suitable for LLMs. We evaluate our method on the task of disambiguation in Context-aware Machine Translation, where we analyze 50 phenomena across 4 models and 4 language directions. We empirically show the alignment of our method with the effects of increasing the attention scores of token-to-token relations on three models and two language directions, ensuring the robustness of our method. Our analysis reveals the presence of the "general-purpose" attention heads that improve the model's performance when attending to different relations. We find that the average attention a head assigns to a relation does not necessarily relate to the model's performance, which suggests that the models developed redundancies during training in terms of the head functions.
• Abstract（参考訳）: 本稿では,Token-level Max-Margin損失をアテンションマップにバックプロパゲーションする,勾配に基づく頭部属性戦略を提案する。 このフレームワークは、注意ヘッドの大規模因果解析を可能にし、LLMに適合する。 本研究では,4つのモデルと4つの言語方向にわたる50の現象を解析し,文脈認識機械翻訳における曖昧さの課題について評価する。 提案手法は,3つのモデルと2つの言語方向におけるトークン間関係の注意点を増大させ,その堅牢性を確保する効果を実証的に示す。 分析の結果,異なる関係に出席する際のモデルの性能を向上させる「汎用的」アテンションヘッドの存在が明らかになった。 実験結果から,頭部に付与される平均的注意力はモデルの性能に必ずしも関係しないことが明らかとなった。

関連論文リスト

• Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning [22.32435186013626]
  本稿では,いくつかの潜在能力因子の線形変換としてベンチマーク性能をモデル化した因果表現学習フレームワークを提案する。 このアプローチを6つのベンチマークで評価された1500以上のモデルを含む包括的データセットに適用することにより、観測された性能変動を確実に説明できる簡潔な3ノード線形因果構造を同定する。
  論文  参考訳（メタデータ） (2025-06-12T06:07:42Z)
• Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning [62.23671919314693]
  大規模言語モデル (LLM) は文脈理解において著しく改善されている。 しかし、長いコンテキストの推論と生成の間に真に重要な情報に出席する能力は、まだペースの遅れています。 本稿では,2段階のフレームワークであるLearning to Focus(LeaF)を導入し,コンバウンディング要因を緩和する。
  論文  参考訳（メタデータ） (2025-06-09T15:16:39Z)
• Back Attention: Understanding and Enhancing Multi-Hop Reasoning in Large Language Models [51.53835083483751]
  我々は,「ヴォルフガング・アマデウス・モーツァルトの母の配偶者」のようなプロンプトにおいて,大規模言語モデルが潜在マルチホップ推論をどのように行うかを検討する。 故障は相関属性抽出の段階に起因することが多く、矛盾するロジットが予測精度を低下させる。 注意計算において,下位層が異なる位置から高層隠れ状態を利用することができる機構であるバックアテンションを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:36:42Z)
• Analyzing the Attention Heads for Pronoun Disambiguation in Context-aware Machine Translation Models [5.312303275762104]
  代名詞不明瞭化のための文脈認識機械翻訳モデルにおけるアテンションヘッドの役割について検討する。 モデルにより特定の頭部が不使用であることが示され、より強い関係の1つに頭だけが参加すれば、モデル性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T13:42:49Z)
• Refine Large Language Model Fine-tuning via Instruction Vector [32.04733144700906]
  微調整された大きな言語モデルは、一般的な能力を失う可能性がある。 本稿では,そのような忘れ物の背後にある本質的なメカニズムについて考察する。 我々は,原図の保存を目的としたIV誘導学習を開発し,破滅的な忘れを緩和する。
  論文  参考訳（メタデータ） (2024-06-18T03:05:08Z)
• On Understanding Attention-Based In-Context Learning for Categorical Data [49.40350941996942]
  我々は,アテンションブロックで構成されるネットワークを開発し,各ブロックに自己注意層を付加し,その後にクロスアテンション層と関連するスキップ接続を付加する。 このモデルは、カテゴリー的観察を伴う文脈内推論のための多段階機能的GD推論を正確に行うことができる。
  論文  参考訳（メタデータ） (2024-05-27T15:03:21Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations [58.442103936918805]
  注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。 AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
  論文  参考訳（メタデータ） (2022-06-30T17:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。