論文の概要: Indic-TunedLens: Interpreting Multilingual Models in Indian Languages

• arxiv url: http://arxiv.org/abs/2602.15038v2
• Date: Wed, 18 Feb 2026 09:34:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 12:01:13.619564
• Title: Indic-TunedLens: Interpreting Multilingual Models in Indian Languages
• Title（参考訳）: Indic-TunedLens:インドの言語における多言語モデルの解釈
• Authors: Mihir Panchal, Deeksha Varshney, Mamta, Asif Ekbal,
• Abstract要約: インド語のための新しい解釈可能性フレームワークIndic-TunedLensを紹介する。 標準のLogit Lensとは異なり、Indic-TunedLensはターゲット言語ごとに隠れた状態を調整している。 MMLUベンチマークを用いて10のインド言語上でのフレームワークの評価を行い,SOTAの解釈可能性よりも大幅に向上することを確認した。
• 参考スコア（独自算出の注目度）: 29.672158761831472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models (LLMs) are increasingly deployed in linguistically diverse regions like India, yet most interpretability tools remain tailored to English. Prior work reveals that LLMs often operate in English centric representation spaces, making cross lingual interpretability a pressing concern. We introduce Indic-TunedLens, a novel interpretability framework specifically for Indian languages that learns shared affine transformations. Unlike the standard Logit Lens, which directly decodes intermediate activations, Indic-TunedLens adjusts hidden states for each target language, aligning them with the target output distributions to enable more faithful decoding of model representations. We evaluate our framework on 10 Indian languages using the MMLU benchmark and find that it significantly improves over SOTA interpretability methods, especially for morphologically rich, low resource languages. Our results provide crucial insights into the layer-wise semantic encoding of multilingual transformers. Our model is available at https://huggingface.co/spaces/MihirRajeshPanchal/IndicTunedLens. Our code is available at https://github.com/MihirRajeshPanchal/IndicTunedLens.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、インドのような言語学的に多様な地域で展開されているが、ほとんどの解釈可能性ツールは英語に合わせたままである。 以前の研究は、LLMが英語中心の表現空間でしばしば機能していることを明らかにし、言語間の解釈可能性にプレッシャーをかけている。 Indic-TunedLensは,共用アフィン変換を学習するインド言語に特化した,新しい解釈可能性フレームワークである。 中間アクティベーションを直接デコードする標準のLogit Lensとは異なり、Indic-TunedLensはターゲット言語ごとに隠れた状態を調整し、ターゲットの出力分布と整列させ、モデル表現をより忠実にデコードできるようにする。 MMLUベンチマークを用いて10のインド言語上でのフレームワークの評価を行い、特に形態的に豊かな低資源言語において、SOTAの解釈可能性よりも大幅に改善されていることを確認した。 この結果から,多言語変換器のレイヤワイドなセマンティックエンコーディングに関する重要な知見が得られた。 私たちのモデルはhttps://huggingface.co/spaces/MihirRajeshPanchal/IndicTunedLensで利用可能です。 私たちのコードはhttps://github.com/MihirRajeshPanchal/IndicTunedLens.comで公開されています。

関連論文リスト

• Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
  大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。 言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
  論文  参考訳（メタデータ） (2025-11-13T22:51:06Z)
• DeepRAG: Building a Custom Hindi Embedding Model for Retrieval Augmented Generation from Scratch [0.0]
  DeepRAGは、RAGシステムにおけるヒンディー語専用に構築した特殊な埋め込みモデルです。 検索精度は、みんなが使っている多言語モデルと比べて23%向上しました。
  論文  参考訳（メタデータ） (2025-03-11T09:27:56Z)
• Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages [0.0]
  インドのような多言語社会では、テキストはしばしばコードミキシングを示し、異なる言語レベルで現地の言語と英語をブレンドする。 本稿では,Dravidian言語における単語レベルのLI課題への対処を目的とした,共有タスクのプロンプトベース手法を提案する。 本研究では,GPT-3.5 Turboを用いて,大言語モデルが単語を正しいカテゴリに分類できるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-11-06T16:20:37Z)
• Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense [30.62699081329474]
  本稿では,言語間感覚曖昧化のための新しいベンチマーク,StingrayBenchを紹介する。 インドネシア語とマレー語、インドネシア語とタガログ語、中国語と日本語、英語とドイツ語の4つの言語ペアで偽の友人を集めます。 各種モデルの解析において,高リソース言語に偏りが生じる傾向が見られた。
  論文  参考訳（メタデータ） (2024-10-28T22:09:43Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。 言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。 我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• Towards a More Inclusive AI: Progress and Perspectives in Large Language Model Training for the Sámi Language [7.289015788793582]
  本研究は、S'ami言語における技術参加の増大に焦点を当てている。 我々は,Ultra Low Resource (ULR)言語の言語モデリング問題に対して,MLコミュニティの注目を集めている。 Webから利用可能なS'ami言語リソースをコンパイルして、言語モデルをトレーニングするためのクリーンなデータセットを作成しました。
  論文  参考訳（メタデータ） (2024-05-09T13:54:22Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages [8.858671209228536]
  ネパールのヒンディー語から英語への多言語機械翻訳における語彙共有について検討した。 文字の書き起こしが顕著な改善を与えていないことが分かりました。 分析の結果,オリジナルスクリプトでトレーニングした多言語MTモデルは,すでに多言語間の違いに対して堅牢であることがわかった。
  論文  参考訳（メタデータ） (2023-05-04T23:35:15Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。