論文の概要: Calibration Language Shapes Block-Influence Pruning in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2610.21383v1
• Date: Thu, 15 Oct 2026 07:01:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.24299
• Title: Calibration Language Shapes Block-Influence Pruning in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおけるキャリブレーション言語形状とブロック影響プルーニング
• Abstract要約: ブロックインフルエンス(BI)は、入力出力コサイン変化から深度プルーニングのためのトランスフォーマーブロックをランク付けする。 Qwen2.5-1.5B-Instruct, Llama-3.2-1B, Gemma-2-2Bにおける英語のキャリブレーションがインド語に移行するかどうかを検討した。 英語、ヒンディー語、マラティー語、タミル語では、校正と評価のためにウィキペディアの論文を使用している。
• 参考スコア（独自算出の注目度）: 0.4779196219827507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Block Influence (BI) ranks Transformer blocks for depth pruning from their input-output cosine change, but the ranking depends on the calibration distribution. We study whether English calibration transfers to Indian languages in Qwen2.5-1.5B-Instruct, Llama-3.2-1B, and Gemma-2-2B. English, Hindi, Marathi, and Tamil use disjoint Wikipedia articles for calibration and evaluation; every selector receives the same 150-chunk budget, and Tamil is excluded from multilingual aggregation to test cross-script transfer. Across all three models, late-block BI is 20.7-55.5% higher for the three Indian languages than for English, and every predeclared late-minus-middle contrast has a 95% bootstrap interval above zero. This mismatch changes the low-BI blocks selected for removal despite high global rank correlations. Averaging BI over equal English, Hindi, and Marathi budgets mitigates the resulting perplexity damage for Qwen at six removed blocks and for Gemma at all tested depths, including held-out Tamil. The mitigation is not universal: on Llama, balancing improves Hindi and Marathi at two removed blocks but severely harms Tamil, while larger pruning budgets select the same blocks and collapse perplexity regardless of calibration. Rank-mean and minimax-rank aggregators do not dominate the raw mean. These results support a diagnostic claim rather than a universal pruning rule: English-only BI systematically misses late-layer activity for Indian-language text, but multilingual calibration must still be validated per architecture and pruning budget.
• Abstract（参考訳）: Block Influence (BI) rank Transformer block for depth pruning from their input-output cosine change, but the rank based on the calibration distribution。 Qwen2.5-1.5B-Instruct, Llama-3.2-1B, Gemma-2-2Bにおける英語のキャリブレーションがインド語に移行するかどうかを検討した。 英語、ヒンディー語、マラティー語、タミル語はウィキペディアの記事を校正と評価に使用しており、各セレクターは同じ150チャンクの予算を受け取り、タミル語は多言語集合から除外され、クロススクリプトの転送をテストする。 3つのモデル全体で、レイトブロックBIは英語より20.7-55.5%高い。 このミスマッチは、高いグローバルランク相関にもかかわらず、除去のために選択された低BIブロックを変化させる。 英語、ヒンディー語、マラティ語の予算に対するBIの平均的な評価は、Qwenの難易度を6ブロックで軽減し、Gemmaはタミル語を含む全てのテストされた深さでダメージを軽減した。 ラマでは、バランスはヒンディー語とマラティ語を2つのブロックで改善するが、タミル語に深刻なダメージを与える。 ランク平均とミニマックスランクのアグリゲータは原平均を支配していない。 これらの結果は、普遍的なプルーニングルールではなく、診断的クレームを支持している: 英語のみのBIは、インド語テキストのラテン層アクティビティを体系的に見逃すが、多言語キャリブレーションは、アーキテクチャやプルーニング予算毎に検証されなければならない。

関連論文リスト

• An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution [3.756550107432323]
  7604 Nastaliq Urdu Facebookコメントのコーパスをリリースしました。 共通のグリッドサーチプロトコルで4つのUrdu対応トランスを微調整する。 左右のレンダリングに適応した単語レベルのSHAP属性を計算する。
  論文  参考訳（メタデータ） (2026-10-11T17:33:09Z)
• Translating the Translator: Decomposing the Cost of English-Forced Inter-Agent Communication [3.6466632641918113]
  英語を通したエージェント間通信は、ネイティブ言語によるマルチエージェント実行と比較して、Exact Matchの精度を13.0パーセント(スペイン)で30.6ポイント(ヒンディー語)まで下げる。 これらの結果から,ソースとターゲット言語が典型的には離れている場合,エージェントフレームワークにおけるネイティブ言語ルーティングの魅力が示唆された。
  論文  参考訳（メタデータ） (2026-09-14T05:51:02Z)
• Beyond Cross-Lingual Transfer: Benchmarking Propagation Boundaries in Multilingual LLM Unlearning [80.05116806217397]
  大言語モデル(LLM)のアンラーニングは、汎用性を保ちながら、目標とする知識を抑えることを目的としている。 CLLPU(Cross-Lingual and Language-Bound Protocol for LLM Unlearning)は,この問題を2つの設定で定式化する多言語ベンチマークである。 目標とする知識がすべての言語で抑制されるべき共通目標の忘れ、言語条件の忘れ、抑圧は指定された言語に限定されるべきである。
  論文  参考訳（メタデータ） (2026-09-05T08:26:15Z)
• Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs [0.0]
  大規模な言語モデルの現在の安全アライメントトレーニングは英語中心である。 これはインドの言語学的に多様な人口に展開される言語技術にとって重要な失敗モードである。 インドの言語学的に多様な言語にまたがる言語技術にとって、これは致命的な失敗のモードである。
  論文  参考訳（メタデータ） (2026-07-26T08:23:25Z)
• BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories [0.0]
  LLM-as-a-judgeは、NLPパイプラインのスケーラビリティ評価において、主要なアプローチとなっている。 オープンソースのベンチマークと信頼性監査フレームワークであるBabelJudgeを紹介します。 位置バイアス、冗長性バイアス、順序の不整合、言語間の劣化の4つの障害モードを計測します。
  論文  参考訳（メタデータ） (2026-06-21T04:35:43Z)
• English-to-Prakrit Machine Translation via Multilingual Transfer Learning [2.2375033480840756]
  IndicTrans2で対象言語がサポートされていない低リソース環境において、英語からプラクリット語への機械翻訳について検討する。 トークン化や語彙,アーキテクチャを変更することなく,PrakritをHindi言語タグ(hin_Deva)にマッピングすることで,多言語モデルに適応する。
  論文  参考訳（メタデータ） (2026-06-04T11:32:41Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。