論文の概要: What Matters to an LLM? Behavioral and Computational Evidences from Summarization

• arxiv url: http://arxiv.org/abs/2602.00459v1
• Date: Sat, 31 Jan 2026 02:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.197573
• Title: What Matters to an LLM? Behavioral and Computational Evidences from Summarization
• Title（参考訳）: LLMには何が重要か? 要約からの行動的・計算的証拠
• Authors: Yongxin Zhou, Changshun Wu, Philippe Mulhem, Didier Schwab, Maxime Peyrard,
• Abstract要約: 大規模言語モデル(LLM)は現在、要約の最先端にあるが、情報選択を駆動する重要な概念は依然として隠されている。 本稿では,行動解析と計算解析を組み合わせることで,この問題を考察する。
• 参考スコア（独自算出の注目度）: 9.582572639590508
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) are now state-of-the-art at summarization, yet the internal notion of importance that drives their information selections remains hidden. We propose to investigate this by combining behavioral and computational analyses. Behaviorally, we generate a series of length-controlled summaries for each document and derive empirical importance distributions based on how often each information unit is selected. These reveal that LLMs converge on consistent importance patterns, sharply different from pre-LLM baselines, and that LLMs cluster more by family than by size. Computationally, we identify that certain attention heads align well with empirical importance distributions, and that middle-to-late layers are strongly predictive of importance. Together, these results provide initial insights into what LLMs prioritize in summarization and how this priority is internally represented, opening a path toward interpreting and ultimately controlling information selection in these models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現在、要約の最先端にあるが、情報選択を駆動する重要な概念は依然として隠されている。 本稿では,行動解析と計算解析を組み合わせることで,この問題を考察する。 行動学的には、各文書に対して長さ制御された一連の要約を生成し、各情報単位の選択頻度に基づいて経験的重要度分布を導出する。 これらのことから、LLMはLLM以前のベースラインと大きく異なる一貫した重要パターンに収束し、LLMはサイズよりも家族によってクラスタリングされることが明らかとなった。 計算学的には、特定の注目ヘッドは経験的重要性の分布とよく一致し、中間層から後期層は重要度を強く予測する。 これらの結果は、LLMが要約において何を優先し、この優先順位が内部的にどのように表現されるかという最初の洞察を与え、これらのモデルにおける情報選択を解釈し、最終的に制御する道を開く。

関連論文リスト

• CARPAS: Towards Content-Aware Refinement of Provided Aspects for Summarization in Large Language Models [16.41705871316774]
  本稿では,CARPAS(Content-Aware Refinement of Productd aspects for Summarization)を紹介する。 本稿では,関連する側面の数を予測するための予備的なサブタスクを提案し,その予測数が効果的なガイダンスとして機能できることを実証する。 実験の結果,提案手法は全データセットのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-10-08T16:16:46Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Behavioral Analysis of Information Salience in Large Language Models [36.80435135374382]
  本稿では,大規模言語モデルにおける情報サリエンスを導出し,調査するための説明可能なフレームワークを提案する。 4つのデータセットにまたがる13のモデルに対する実験により、LLMは、概してモデルファミリとサイズで整合した、曖昧で階層的なサリエンスの概念を持つことが明らかになった。 モデルは高度に一貫した振る舞いを示し、従ってサリエンスパターンを示すが、このサリエンスの概念はイントロスペクションを通じてアクセスすることはできず、情報サリエンスに対する人間の認識と弱い相関関係がある。
  論文  参考訳（メタデータ） (2025-02-20T14:52:23Z)
• Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
  我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。 本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。 我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。