論文の概要: LLMs Process Lists With General Filter Heads

• arxiv url: http://arxiv.org/abs/2510.26784v1
• Date: Thu, 30 Oct 2025 17:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.966174
• Title: LLMs Process Lists With General Filter Heads
• Title（参考訳）: 汎用フィルタヘッドを用いたLLMプロセスリスト
• Authors: Arnab Sen Sharma, Giordano Rogers, Natalie Shapira, David Bau,
• Abstract要約: LLMは、関数型プログラミングの一般的な「フィルタ」関数を反映した一般的なフィルタリング操作の因果表現を符号化することを学ぶ。 この表現を抽出して再適用して,異なる形式,言語,あるいはタスクにおいて,異なるコレクション上で同じフィルタリング操作を実行できることを示す。 この結果から,トランスフォーマーLMは,意外な方法で一般化した抽象計算処理の人間解釈可能な実装を開発することができることがわかった。
• 参考スコア（独自算出の注目度）: 17.609651541382334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the mechanisms underlying a range of list-processing tasks in LLMs, and we find that LLMs have learned to encode a compact, causal representation of a general filtering operation that mirrors the generic "filter" function of functional programming. Using causal mediation analysis on a diverse set of list-processing tasks, we find that a small number of attention heads, which we dub filter heads, encode a compact representation of the filtering predicate in their query states at certain tokens. We demonstrate that this predicate representation is general and portable: it can be extracted and reapplied to execute the same filtering operation on different collections, presented in different formats, languages, or even in tasks. However, we also identify situations where transformer LMs can exploit a different strategy for filtering: eagerly evaluating if an item satisfies the predicate and storing this intermediate result as a flag directly in the item representations. Our results reveal that transformer LMs can develop human-interpretable implementations of abstract computational operations that generalize in ways that are surprisingly similar to strategies used in traditional functional programming patterns.
• Abstract（参考訳）: LLMの一連のリスト処理タスクの基盤となるメカニズムについて検討し、LLMが関数型プログラミングの一般的な「フィルタ」関数を反映した一般的なフィルタリング操作のコンパクトで因果的表現を符号化することを学びました。 多様なリスト処理タスクの因果媒介分析を用いて、フィルタヘッドをダブする少数の注目ヘッドが、特定のトークンにおけるクエリ状態におけるフィルタリング述語のコンパクトな表現を符号化していることがわかった。 我々は、この述語表現が汎用的でポータブルであることを示し、異なるコレクション上で同じフィルタリング操作を実行したり、異なるフォーマット、言語、タスクで表示したり、再適用したりすることができる。 項目が述語に満足するかどうかを積極的に評価し、その中間結果を項目表現に直接フラグとして格納する。 この結果から,トランスフォーマーLMは,従来の関数型プログラミングパターンで使用される戦略と驚くほど類似した方法で一般化した,抽象計算処理の人間解釈可能な実装を開発することができることがわかった。

関連論文リスト

• One Filters All: A Generalist Filter for State Estimation [25.24016738448608]
  我々は,大規模言語モデル (LLM) を利用して状態推定を行う汎用フィルタリングフレームワーク textbfLLM-Filter を提案する。 まず、状態推定は、事前学習されたLLMに埋め込まれた推論知識の恩恵を受けることができる。 これらのプロンプトによって導かれ、LLM-Filterは例外的な一般化を示し、変化した環境や目に見えない環境で正確にフィルタリングタスクを実行することができる。
  論文  参考訳（メタデータ） (2025-09-24T12:19:18Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [76.69936664916061]
  LM呼び出し回数がVotteとFilter-Voteのパフォーマンスに与える影響について検討する。 意外なことに、複数の言語タスクにおいて、VoteとFilter-Voteの両方のパフォーマンスは、まず増大するが、LM呼び出しの回数の関数として減少する可能性がある。
  論文  参考訳（メタデータ） (2024-03-04T19:12:48Z)
• Function Vectors in Large Language Models [45.267194267587435]
  自己回帰変換言語モデル(LM)内のベクトルとして入力出力関数を表す単純な神経機構の存在を報告する。 多様なコンテキスト内学習(ICL)タスクの因果媒介分析を用いて、少数の注意ヘッドがデモされたタスクのコンパクトな表現を伝達し、関数ベクトル(FV)と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-23T17:55:24Z)
• Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
  我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。 提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。 我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
  論文  参考訳（メタデータ） (2023-09-23T11:22:28Z)
• Translating Regulatory Clauses into Executable Codes for Building Design Checking via Large Language Model Driven Function Matching and Composing [8.293447126161475]
  本稿では,規則に基づく適応的プロンプトを用いた大規模言語モデル (LLM) に基づく手法を提案する。 LLM-FuncMapperは関数マッチングにおいて19%の精度で微調整を行う。 ケーススタディでは、LLM-FuncMapperが複数のアトミック関数を自動生成して実行可能なコードを生成することができる。
  論文  参考訳（メタデータ） (2023-08-17T01:58:04Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。