論文の概要: Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
- arxiv url: http://arxiv.org/abs/2504.13816v1
- Date: Fri, 18 Apr 2025 17:44:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-28 14:37:53.648612
- Title: Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations
- Title（参考訳）: 内部表現のレンズによる言語間のLLMの知識境界認知の分析
- Authors: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong,
- Abstract要約: 本研究は,LLMが言語間の知識境界をどのように認識するかを解析するための最初の研究である。
1) LLM の知識境界に対する認識は, 言語間の中間層と中間層にコード化されている。
- 参考スコア（独自算出の注目度）: 72.62400923539234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.
- Abstract（参考訳）: LLMの知識境界を理解することは幻覚を防ぐために重要であるが、LLMの知識境界の研究は主に英語に焦点を当てている。
本研究では,LLMが複数の言語で未知の質問を処理する際に,その内部表現を探索することにより,異なる言語間の知識境界をどのように認識するかを初めて解析する。
私たちの経験的研究は、3つの重要な発見を明らかにします。
1) LLMの知識境界に対する認識は, 言語間の中間層と中層に符号化されている。
2)知識境界認識の言語差は,低リソース言語における幻覚リスクの低減に寄与する,知識境界認識能力を言語間で効果的に伝達する訓練自由アライメント手法の提案を動機とする線形構造に従う。
3)バイリンガル質問対翻訳の微調整により,LLMの言語間の知識境界認識がさらに強化される。
言語間知識境界解析のための標準テストベッドが存在しないことから、3種類の知識境界データからなる多言語評価スイートを構築した。
コードとデータセットはhttps://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundariesで公開されています。
関連論文リスト
- Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set [28.592959007943538]
本研究では,大規模言語モデル (LLM) が言語やフレームワークにまたがって一般化する談話知識を捉えているかどうかを検討する。
テストベッドとして多言語対話関係分類を用いて, 様々なサイズと多言語機能を持つ23個のLLMの包括的集合について検討した。
以上の結果から,LLM,特に多言語学習コーパスでは,言語やフレームワーク間での会話情報を一般化することが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-03-13T16:20:25Z) - How does a Multilingual LM Handle Multiple Languages? [0.0]
本研究では,多言語理解,意味表現,言語間知識伝達の能力について批判的に検討する。
コサイン類似性を用いた一貫性のための多言語単語埋め込みの分析により意味的類似性を評価する。
BLOOM-1.7B と Qwen2 を Named Entity Recognition と文類似性タスクを通して調べ、それらの言語構造を理解する。
論文 参考訳（メタデータ） (2025-02-06T18:08:14Z) - Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。
これは、LLMの知識境界を理解するための重要な必要性を強調している。
本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
論文 参考訳（メタデータ） (2024-12-17T02:14:02Z) - One Mind, Many Tongues: A Deep Dive into Language-Agnostic Knowledge Neurons in Large Language Models [19.58983929459173]
大規模言語モデル(LLM)は大規模コーパスでの自己教師付き事前学習を通じて、膨大な量の事実知識を学習してきた。
LLMはまた、学習した知識を複数の言語で表現できる優れた多言語機能を示した。
論文 参考訳（メタデータ） (2024-11-26T13:03:49Z) - How Do Multilingual Language Models Remember Facts? [50.13632788453612]
これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。
我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。
デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
論文 参考訳（メタデータ） (2024-10-18T11:39:34Z) - Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。
しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか?
本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文 参考訳（メタデータ） (2024-06-23T15:15:17Z) - Teaching LLMs to Abstain across Languages via Multilingual Feedback [40.84205285309612]
多言語フィードバックは,多様な言語,文化,コミュニティ間の知識ギャップを識別する上で有効であることを示す。
大規模な実験により、多言語フィードバックアプローチは、様々な強いベースラインよりも優れていることが示された。
さらに分析したところ、多言語フィードバックは多言語話者に役立てるための効果的かつ公平な回避戦略であることがわかった。
論文 参考訳（メタデータ） (2024-06-22T21:59:12Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳（メタデータ） (2024-02-29T21:05:37Z) - Exploring Multilingual Concepts of Human Value in Large Language Models: Is Value Alignment Consistent, Transferable and Controllable across Languages? [34.38469832305664]
本稿では,AIの安全性の重要性から,人間の価値観に関する概念(すなわち,価値の概念)に焦点を当てる。
我々はまず,LLMにおける価値概念の存在を多言語形式で実証的に確認した。
これらの概念の言語間特性に関するさらなる分析は、言語資源の相違から生じる3つの特徴を明らかにしている。
論文 参考訳（メタデータ） (2024-02-28T07:18:39Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T16:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。