論文の概要: Shaping the Document, Not the Model: Optimized Suffixes for Context Following

• arxiv url: http://arxiv.org/abs/2610.26236v1
• Date: Mon, 19 Oct 2026 12:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:50:51.298584
• Title: Shaping the Document, Not the Model: Optimized Suffixes for Context Following
• Title（参考訳）: ドキュメントをモデルではなく形成する - コンテキスト追従のための最適化された接尾辞
• Abstract要約: 離散トークン探索により文書接尾辞を最適化する。 この接尾辞は、モデルが抵抗するほぼ全ての項目を、3つの命令調整されたモデルファミリで反転させることを示す。
• 参考スコア（独自算出の注目度）: 62.95568368668947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a user supplies a document and wants the answer drawn from it, a language model is expected to follow it even when it contradicts its parametric knowledge. Prior work has focused on making the model rely on context by steering activations, contrasting logits during decoding, or instructing it in plain language. We ask whether the document alone, with no instruction written into it and no access to the model at inference time, is enough. We optimize a document suffix by discrete token search, starting from the answer to a single question and extending the objective to a set of passages, to multi-hop questions that follow from the planted fact, and to later turns of a conversation. On counterfactual passages that contradict parametric knowledge of the model, the suffix flips nearly all items the model resists across three instruction-tuned model families, in most settings outperforms the decoding baseline and the strongest instruction we could write, and matches activation steering. Controls show that the suffix largely acts through the passage rather than injecting the answer, and a single suffix per model transfers to unseen passages. Each extended objective carries the effect to its target, so the objective, not only the document, sets how far the effect reaches.
• Abstract（参考訳）: ユーザが文書を供給し、そこから引き出された回答を希望すると、パラメトリック知識に矛盾しても言語モデルがそれに従うことが期待される。 以前の作業では、アクティベーションを操縦したり、復号時にロジットを対比したり、平易な言語でそれを指示したりすることで、モデルをコンテキストに依存するようにすることに重点を置いていた。 我々は、この文書だけでは、命令が書かず、推論時にモデルにアクセスできないかどうかを問う。 文書接頭辞を個別のトークン検索で最適化し、解答から1つの質問へ、目的を一連の質問へ拡張し、植字された事実から続くマルチホップ質問へ、そして後に会話のターンへと拡張する。 モデルのパラメトリック知識と矛盾する反ファクトパスでは、接尾辞はモデルが3つの命令で調整されたモデルファミリに抵抗するほぼすべての項目を反転させ、ほとんどの設定はデコードベースラインと私たちが記述できる最強の命令を上回り、アクティベーションステアリングと一致させる。 制御により、接尾辞は解答を注入するよりも通路を通り抜けて働き、モデルごとに1つの接尾辞が見えない通路に移動する。 各拡張された目的は、その効果をその目標に伝達するので、目的は、文書だけでなく、その効果がどこまで達するかを設定できる。

関連論文リスト

• From Copying to Composition: How Language Models Develop In-Context Learning [3.420865969867313]
  In-context Learning (ICL) は、言語モデルが指示や実演から行動に即興で適応することを可能にする。 本研究はICLの取得と訓練性について,近辺のデモのコピーをプロンプト間の情報統合から分離した制御診断を用いて検討する。
  論文  参考訳（メタデータ） (2026-10-13T19:49:33Z)
• For What Reason? Interpreting Models' Encoding of Causation and Antithesis [3.601353974864421]
  本研究では、英語の会話関係を符号化する命令調整型トランスフォーマーモデルについて検討する。 いくつかの層は選択肢よりも一つの答えを優先しており、談話に基づく推論の非対称な表現を示唆している。
  論文  参考訳（メタデータ） (2026-07-20T23:05:04Z)
• Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [44.31597857713689]
  最初の段階でActive Indexingを導入し、一般化可能なソースアンコールバインディングを作成します。 Qwen-2.5-7B&3Bの実験は、アクティブインデックスがパッシブインデックスのベースラインを一貫して上回っていることを示している。 内部の引用は、モデルを検索ノイズに対してより堅牢にすることで、外部の引用を補完する。
  論文  参考訳（メタデータ） (2025-06-21T04:48:05Z)
• Large Language Model Prompt Chaining for Long Legal Document Classification [2.3148470932285665]
  チェイン(Chaining)は、複雑なタスクを小さな管理可能なコンポーネントに分解する戦略である。 即時連鎖により、ゼロショット以上の性能を向上できるだけでなく、より大きなモデルによって達成されたマイクロF1スコアを超越できることを実証する。
  論文  参考訳（メタデータ） (2023-08-08T08:57:01Z)
• Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering [13.942561172695815]
  Claude や ChatGPT のような命令チューニング言語モデルでは,レイアウトを空間や線分で理解することができる。 本稿では,Alpaca などの小型命令学習モデルの性能向上を図るため,LATIN-Prompt (Layout and Task aware Instruction Prompt) を提案する。
  論文  参考訳（メタデータ） (2023-06-01T10:28:12Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• SelfDoc: Self-Supervised Document Representation Learning [46.22910270334824]
  SelfDocは、文書イメージ理解のためのタスクに依存しない事前トレーニングフレームワークである。 本フレームワークは,文書中の意味的に意味のあるすべてのコンポーネントの位置情報,テキスト情報,視覚情報を利用する。 複数のダウンストリームタスクにおいて,事前学習段階で使用する文書イメージが従来よりも大幅に少なく,優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-06-07T04:19:49Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。