論文の概要: Behavioral Analysis of Information Salience in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.14613v1
• Date: Thu, 20 Feb 2025 14:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 22:18:11.703241
• Title: Behavioral Analysis of Information Salience in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける情報提供者の行動分析
• Authors: Jan Trienes, Jörg Schlötterer, Junyi Jessy Li, Christin Seifert,
• Abstract要約: 本稿では,大規模言語モデルにおける情報サリエンスを導出し,調査するための説明可能なフレームワークを提案する。 4つのデータセットにまたがる13のモデルに対する実験により、LLMは、概してモデルファミリとサイズで整合した、曖昧で階層的なサリエンスの概念を持つことが明らかになった。 モデルは高度に一貫した振る舞いを示し、従ってサリエンスパターンを示すが、このサリエンスの概念はイントロスペクションを通じてアクセスすることはできず、情報サリエンスに対する人間の認識と弱い相関関係がある。
• 参考スコア（独自算出の注目度）: 36.80435135374382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel at text summarization, a task that requires models to select content based on its importance. However, the exact notion of salience that LLMs have internalized remains unclear. To bridge this gap, we introduce an explainable framework to systematically derive and investigate information salience in LLMs through their summarization behavior. Using length-controlled summarization as a behavioral probe into the content selection process, and tracing the answerability of Questions Under Discussion throughout, we derive a proxy for how models prioritize information. Our experiments on 13 models across four datasets reveal that LLMs have a nuanced, hierarchical notion of salience, generally consistent across model families and sizes. While models show highly consistent behavior and hence salience patterns, this notion of salience cannot be accessed through introspection, and only weakly correlates with human perceptions of information salience.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト要約において、その重要性に基づいて、モデルがコンテンツを選択することを要求するタスクを排他的に行う。 しかし、LSMが内部化されているという正確なサリエンスの概念はいまだ不明である。 このギャップを埋めるために,LLMにおける情報サリエンスを系統的に導出し,その要約行動を通じて調査する,説明可能なフレームワークを導入する。 長さ制御された要約をコンテンツ選択プロセスの行動調査として利用し,質問の回答可能性の追跡を行い,モデルが情報をどのように優先順位付けするかのプロキシを導出する。 4つのデータセットにまたがる13のモデルに対する実験により、LLMは、概してモデルファミリとサイズで整合した、曖昧で階層的なサリエンスの概念を持つことが明らかとなった。 モデルは高度に一貫した振る舞いを示し、従ってサリエンスパターンを示すが、このサリエンスの概念はイントロスペクションを通じてアクセスすることはできず、情報サリエンスに対する人間の認識と弱い相関関係がある。

関連論文リスト

• Cross-Examiner: Evaluating Consistency of Large Language Model-Generated Explanations [12.615208274851152]
  大規模言語モデル(LLM)は、精度と透明性を高めるために出力を説明するように求められることが多い。 証拠は、これらの説明がモデルの真の推論過程を誤って表現できることを示唆している。 本稿では、モデルによる初期質問の説明に基づいて、フォローアップ質問を生成する新しい方法であるクロスアナライザを紹介する。
  論文  参考訳（メタデータ） (2025-03-11T18:50:43Z)
• Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models [30.066436019078164]
  推論タスクを行う際に,大規模言語モデルが採用する一般化戦略について検討する。 以上の結果から, モデルを用いた推論手法は検索と異なり, より一般化可能な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2024-11-19T15:47:12Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Meta-Models: An Architecture for Decoding LLM Behaviors Through Interpreted Embeddings and Natural Language [0.0]
  我々は「入力モデル」からアクティベーションを取り、入力モデルの振る舞いに関する自然言語質問に答える「メタモデル」を用いる。 選択したタスクタイプをトレーニングし,そのアウト・オブ・ディストリビューション性能を評価することによって,メタモデルの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-10-03T13:25:15Z)
• Estimating Knowledge in Large Language Models Without Generating a Single Token [12.913172023910203]
  大規模言語モデル(LLM)における知識を評価するための現在の手法は、モデルをクエリし、生成した応答を評価する。 本研究では,モデルがテキストを生成する前に評価を行うことができるかどうかを問う。 様々なLLMを用いた実験では、内部の主題表現を訓練した単純なプローブであるKEENが、両方のタスクで成功することが示された。
  論文  参考訳（メタデータ） (2024-06-18T14:45:50Z)
• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• Eliciting Personality Traits in Large Language Models [0.0]
  大規模言語モデル(LLM)は採用の文脈において、候補者と雇用主の両方が利用している。 本研究は,異なる入力プロンプトに基づいて,それらの出力変動を調べることによって,そのようなモデルをよりよく理解することを目的とする。
  論文  参考訳（メタデータ） (2024-02-13T10:09:00Z)
• Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
  本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。 はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
  論文  参考訳（メタデータ） (2024-02-02T12:59:27Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。