Fugu-MT 論文翻訳(概要): Tracing Stereotypes from Representation to Output in Multilingual LLMs

論文の概要: Tracing Stereotypes from Representation to Output in Multilingual LLMs

arxiv url: http://arxiv.org/abs/2609.08322v1
Date: Tue, 08 Sep 2026 06:45:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.599598
Title: Tracing Stereotypes from Representation to Output in Multilingual LLMs
Title（参考訳）: 多言語LLMにおける表現から出力への追跡ステレオタイプ
Abstract要約: 多言語多言語LLMは、言語によって異なるステレオタイプに関連した振る舞いを示す。行動スコアは、関連する情報がどこに表現されているか、それが出力にどのように影響するかを示すものではない。線形探索,帰属パッチ,スパースオートエンコーダ(SAE),特徴アブレーションを比較した。
参考スコア（独自算出の注目度）: 12.102952559278677
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multilingual LLMs show stereotype-related behavior that varies across languages, but behavioral scores do not show where the relevant information is represented or how it affects the output. To investigate these internal mechanisms, we compare linear probing, attribution patching, sparse autoencoders (SAEs) and feature ablation in Llama-3.1-8B, Qwen3-8B, and Gemma-2-9B. Probe performance peaks substantially earlier than attribution in all three models, with a separation of 36-53% of model depth. Retained Llama-Scope features often match the social category on which they were selected and form recurring semantic families, but their lexical alignment and ablation effects vary across SAE suites. Only 6-18% of evaluated residual-stream features have language-agnostic effects under our criterion, and none are category-agnostic. Language-agnostic features have larger mean ablation effects in Llama-Scope, but this pattern does not repeat in the other SAE suites. Decodability, output influence, and cross-lingual ablation effects therefore need to be measured separately.
Abstract（参考訳）: 多言語LLMは、言語によって異なるステレオタイプ関連の振舞いを示すが、行動スコアは、関連する情報がどこに表現されているか、どのように出力に影響するかを示すものではない。これらの内部メカニズムを解明するために,Llama-3.1-8B,Qwen3-8B,Gemma-2-9Bの線形プローブ,帰属パッチ,スパースオートエンコーダ(SAE)および特徴アブレーションを比較した。モデル深さの36～53%を分離した3つのモデルにおいて,プローブ性能は属性よりもかなり早くピークとなる。残存するLlama-Scopeの特徴は、選択された社会的カテゴリーによく一致するが、それらの語彙的アライメントとアブレーション効果は、SAEスイートによって異なる。評価された残差の6-18%は,我々の基準下では言語に依存しないが,カテゴリーに依存しない。言語に依存しない特徴は、Llama-Scopeでは平均アブレーション効果が大きいが、他のSAEスイートではこのパターンは繰り返されない。したがって、分解性、出力影響、および言語間のアブレーション効果は別々に測定する必要がある。

関連論文リスト

REGARD: Regional Affective Differences in Large Language Models [32.505127447635864]
ターゲット指向のValence-Arousal-Dominanceプロファイリングを用いて,LLM間での感情的フレーミングの差異について検討した。感情的および反応行動的プロファイルによる19モデルすべてのウォードリンク後のクラスタリングでは、3つの行動的クラスタが生成される。これらの結果から,VADプロファイリングは感情的フレーミングの次元である感情的強度を捉えており,従来の感情に基づく評価ではほとんど見えないことが示唆された。
論文参考訳（メタデータ） (2026-07-22T20:47:57Z)
Analysis Of Linguistic Stereotypes in Single and Multi-Agent Generative AI Architectures [4.112801542332816]
本稿では,LLM出力における方言感受性ステレオタイプ生成の既存解析を再現する。我々は8つのプロンプトテンプレートを定義し、方言バイアスが現れる様々な方法を分析する。 LLM-as-judge 法を用いて結果のバイアスを評価する。
論文参考訳（メタデータ） (2026-03-19T10:24:51Z)
Interpreting Multi-Attribute Confounding through Numerical Attributes in Large Language Models [13.5805504750573]
大規模言語モデル(LLM)は,実世界の数値相関を符号化するが,体系的に増幅する傾向があることを示す。無関係な文脈は、モデルサイズによって異なる下流効果で、等級表現の一貫性のあるシフトを誘導します。これらの知見は,多属性絡み合い下でのより公平な表現認識制御の基礎となった。
論文参考訳（メタデータ） (2025-11-06T04:47:08Z)
Tokenization and Representation Biases in Multilingual Models on Dialectal NLP Tasks [7.216732751280017]
我々は、事前学習された多言語モデルにおける表現バイアスの尺度として、トークン化パリティ(TP)と情報化パリティ(IP)を関連付ける。我々は,最先端デコーダのみのLLMと,方言分類,話題分類,抽出質問応答の3つのタスクからなるエンコーダベースモデルを比較した。分析の結果,TPは統語的・形態的手法に依存したタスクの性能を予測し,IPは意味的タスクのパフォーマンスを予測できることがわかった。
論文参考訳（メタデータ） (2025-09-24T12:13:53Z)
Semantic Convergence: Investigating Shared Representations Across Scaled LLMs [4.172347145536457]
大きな言語モデルは、サイズの違いにもかかわらず、世界全体を広く類似した解釈可能な特徴に彫り込み、クロスモデル解釈の基盤として普遍性を補強する。予備実験では、単一トークンからマルチトークン部分空間への解析を拡張し、意味論的に類似した部分空間が言語モデルと同様に相互作用することを示す。
論文参考訳（メタデータ） (2025-07-21T07:09:32Z)
BehaviorBox: Automated Discovery of Fine-Grained Performance Differences Between Language Models [55.2480439325792]
本稿では,性能を考慮した文脈埋め込みを用いた言語モデルの自動比較手法を提案する。提案手法は,2つのLM間の生成容易性について,その相違点を示すコヒーレントな特徴を抽出する。本研究では,サイズ,モデルファミリ,ポストトレーニングの異なるモデルを比較し,コーパスレベルの難易度だけでは見つからないパフォーマンスの有意義な違いを示す,特定のコンテキストに対する洞察を列挙する。
論文参考訳（メタデータ） (2025-06-02T19:44:06Z)
ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
論文参考訳（メタデータ） (2025-02-21T14:23:14Z)
"Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。本研究は,Halucination rate,Halucination rate,Halucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sr。
論文参考訳（メタデータ） (2023-12-18T17:18:04Z)
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文参考訳（メタデータ） (2022-10-11T18:11:37Z)
Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
論文参考訳（メタデータ） (2020-08-20T17:58:56Z)
The Secret is in the Spectra: Predicting Cross-lingual Task Performance with Spectral Similarity Measures [83.53361353172261]
本稿では,モノリンガル埋め込み空間の類似性とタスク性能の相関性に着目した大規模研究を行う。 2つの埋め込み空間間のいくつかの同型測度を導入し、それぞれのスペクトルの関連統計に基づく。このようなスペクトル同型尺度から得られた言語類似度スコアは、異なる言語間タスクで観測された性能と強く関連していることを実証的に示す。
論文参考訳（メタデータ） (2020-01-30T00:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。