論文の概要: LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal

• arxiv url: http://arxiv.org/abs/2607.15555v1
• Date: Fri, 17 Jul 2026 01:54:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.732543
• Title: LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal
• Title（参考訳）: LLMs Encoding Relevance as a Layer-Wise Cross-Lingual Signal
• Abstract要約: 命令調整言語モデルにおける残差ストリームアクティベーションから,クエリ文書の関連性が線形に除去可能であるかを検討する。 以上の結果から,q-d関係は深さ依存信号として符号化されていることが示唆された。 いくつかのモデルでは、バリデーション選択されたプローブが生成された判断にマッチするか、性能が良くなり、システムランキングがより保存される。
• 参考スコア（独自算出の注目度）: 8.33491432828288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used in information retrieval (IR) pipelines as relevance judges and re-rankers. Yet most analyses remain output-centric, evaluating generated labels or scores while offering limited insight into how relevance is represented inside the model. In this work, we study whether query-document (q-d) relevance is linearly decodable from residual-stream activations in instruction-tuned LLMs, how this signal compares with generated relevance judgments, and whether it transfers across languages. Using the TREC DL20 and MIRACL evaluation collections, we guide medium-scale LLMs (4-9B parameters) with UMBRELA-style relevance judgment prompts, extract last-token activations from every transformer layer, and train linear probes to predict relevance labels. We compare probe predictions with generated judgments and use TREC DL20 to test whether probe-derived pseudo-labels preserve system rankings against human judgments. Our results suggest that q-d relevance is encoded as a depth-dependent signal: probe performance is weak in early layers and strongest in middle-to-late layers, indicating that relevance becomes more linearly accessible after contextual integration. Most importantly, in several models, validation-selected probes match or outperform generated judgments and better preserve system rankings, revealing a separation between internal relevance representation and external expression. Multilingual experiments suggest partial cross-language portability, although transfer remains weaker than within-language decoding. Overall, this work provides a representation-level perspective on LLM-based relevance assessment. Layer-wise probing can help diagnose where relevance emerges, when generated judgments fail to reflect internally available evidence, and how relevance representations vary across languages, datasets, and model families.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、情報検索(IR)パイプラインにおいて、関連審査員やリランカとしてますます利用されている。 しかし、ほとんどの分析は出力中心のままであり、生成したラベルやスコアを評価しながら、モデル内の関連性をどのように表現するかについて限定的な洞察を提供する。 本研究では,命令調整 LLM における残差ストリームアクティベーションからクエリドキュメンテーション (q-d) の関連性が線形にデオード可能であるか,この信号が生成した関連性判定とどのように比較するか,言語間で転送されるかを検討する。 TREC DL20 と MIRACL 評価コレクションを用いて,UMBRELA スタイルの関連判定プロンプトを用いて中規模の LLM (4-9B パラメータ) を導出し,各トランスフォーマー層から最後のアクティベーションを抽出し,関連ラベルを予測するリニアプローブを訓練する。 提案手法では,プローブから派生した擬似ラベルが人間の判断に逆らってシステムランキングを保持するかどうかを確認するために,TREC DL20を用いてプローブ予測と生成された判定を比較した。 プローブ性能は初期層では弱く,中～後期層では最強であり,文脈統合後に関連性がより線形に到達できることが示唆された。 最も重要なことは、いくつかのモデルにおいて、バリデーション選択されたプローブは生成された判断に一致または上向し、システムランキングをより良く保存し、内部関係表現と外部表現の分離を明らかにすることである。 多言語実験は部分的な言語間の可搬性を示しているが、転送は言語内復号化よりも弱いままである。 全体として、この研究はLLMに基づく妥当性評価に関する表現レベルの視点を提供する。 レイヤワイズ・プローブは、関連性の発生箇所の診断、生成された判断が内部で利用可能な証拠の反映に失敗した場合、関連性表現が言語、データセット、モデルファミリーによってどのように異なるか、に役立つ。

関連論文リスト

• RSRank: Learning Relevance from Representational Shifts [2.996596877662786]
  関連度スコアの校正を行うため,予測RSを学習する軽量なトレーニングフレームワークを導入する。 トレーニングの目的は、無関係なコンテンツをゼロしきい値で自然にフィルタリングし、依存調整を減らすことである。
  論文  参考訳（メタデータ） (2026-06-16T03:29:23Z)
• Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
  提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。 本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
  論文  参考訳（メタデータ） (2026-04-19T08:39:21Z)
• The Overlooked Role of Graded Relevance Thresholds in Multilingual Dense Retrieval [7.238707143014165]
  本研究では,2進ラベルへの変換に使用する関連度スコアとしきい値が高密度検索に与える影響を解析した。 LLMアノテートされた関連スコアを持つ多言語データセットを用いて、単言語、多言語混合、言語横断検索シナリオについて検討する。
  論文  参考訳（メタデータ） (2026-01-07T21:14:48Z)
• Query-Document Dense Vectors for LLM Relevance Judgment Bias Analysis [4.719505127252616]
  大規模言語モデル (LLM) は、情報検索 (IR) 評価収集のための関連評価器として使われている。 我々は、LLMが平均的にどれだけ良いかを単に理解するのではなく、関係を判断する際に体系的な誤りを犯すかどうかを理解することを目的としている。 クエリドキュメント(Q-D)ペアを結合意味空間に埋め込むクラスタリングベースのフレームワークを導入する。
  論文  参考訳（メタデータ） (2026-01-05T03:02:33Z)
• Can LLM Annotations Replace User Clicks for Learning to Rank? [112.2254432364736]
  大規模な教師付きデータは最新のランキングモデルのトレーニングには不可欠だが、高品質な人的アノテーションの取得にはコストがかかる。 クリックデータは低コストの代替手段として広く使われており、近年の大規模言語モデル(LLM)の発展に伴い、LLMベースの関連アノテーションも有望なアノテーションとして登場した。 公開データセットであるTianGong-STと、産業データセットであるBaidu-Clickの両方の実験は、クリック管理モデルが高周波クエリでより良いパフォーマンスを示すことを示している。 データスケジューリングと周波数対応多目的学習という2つのトレーニング戦略を検討し、両方の監視信号を統合する。
  論文  参考訳（メタデータ） (2025-11-10T02:26:14Z)
• When LLMs Disagree: Diagnosing Relevance Filtering Bias and Retrieval Divergence in SDG Search [0.0]
  大規模言語モデル(LLM)は、情報検索パイプラインに文書関連ラベルを割り当てるのにますます使われている。 LLMは境界線のケースにしばしば反対し、そのような不一致が下流の検索にどのように影響するかという懸念を提起する。 モデル不一致は体系的であり、ランダムではないことを示す。 本稿では,検索評価における分析対象として分類不一致を用いることを提案する。
  論文  参考訳（メタデータ） (2025-07-02T20:53:51Z)
• Limitations of Automatic Relevance Assessments with Large Language Models for Fair and Reliable Retrieval Evaluation [2.9180406633632523]
  大規模言語モデル(LLM)は,自動関連性評価ツールとして注目されている。 近年の研究では、LLMに基づく評価が、人為的判断と高いシステムランキングの相関をもたらすことが示されている。 我々は,LLMによる判断が,上位評価システム間の順位差をいかに保っているか,また,人間の判断として相互に重要な評価を保っているかを検討する。
  論文  参考訳（メタデータ） (2024-11-20T11:19:35Z)
• ELCoRec: Enhance Language Understanding with Co-Propagation of Numerical and Categorical Features for Recommendation [38.64175351885443]
  大規模言語モデルは自然言語処理(NLP)領域で栄えている。 レコメンデーション指向の微調整モデルによって示された知性にもかかわらず、LLMはユーザーの行動パターンを完全に理解するのに苦労している。 既存の作業は、その重要な情報を導入することなく、与えられたテキストデータに対してのみLLMを微調整するだけである。
  論文  参考訳（メタデータ） (2024-06-27T01:37:57Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。