論文の概要: Ask Self, Ask Others: Relation Is All You Need

• arxiv url: http://arxiv.org/abs/2608.20172v1
• Date: Thu, 20 Aug 2026 15:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.627143
• Title: Ask Self, Ask Others: Relation Is All You Need
• Title（参考訳）: Ask Self, Ask Others:「関係は必要なもの全て」
• Abstract要約: リレーションはトークン混合プリミティブであり、ペアの証拠を明示的な自己と交換の関係に整理する。 完全関係は、3つのスケールで MHA よりも低い最終検証 NLL を達成する。
• 参考スコア（独自算出の注目度）: 2.4915542959367407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention directly derives normalized information flow from pairwise scores. We introduce Relation, an alternative token-mixing primitive that first organizes pairwise evidence into explicit Self and Exchange relations and derives information flow afterward. This relational organization gives rise to Full Relation, FlashRelation, Linear Relation, Hybrid Relation, and a KV-style Relation Cache. Across matched decoder-only models at approximately 10M, 30M, and 100M parameters, Full Relation achieves lower final validation NLL than MHA at all three scales. In a fixed-context reference benchmark, FlashRelation is 3.60-4.41x faster than the materialized Full Relation implementation. Across scale-matched production workloads, it reaches 76.4-84.9% of PyTorch FlashAttention throughput while executing the Full Relation operator. Hybrid Relation uses 75% Linear Relation layers and achieves strong language-modeling quality. These results support a relation-first view of token mixing: ask Self, ask Others, then let Flow follow Relation.
• Abstract（参考訳）: 注意は、ペアのスコアから正規化された情報の流れを直接引き出す。 リレーション(Relation)は、最初にペアの証拠を明示的な自己と交換の関係に整理し、その後に情報の流れを導出する代替トークン混合プリミティブである。 このリレーショナル組織は、フルリレーショナル、Flashリレーショナル、リニアリレーショナルリレーショナル、ハイブリッドリレーショナル、KVスタイルリレーショナルキャッシュを生み出します。 一致するデコーダのみのモデルを約10M、30M、100Mのパラメータで比較すると、Full Relationは3つのスケールでMHAよりも低い最終検証NLLを達成する。 固定コンテキスト参照ベンチマークでは、FlashRelationは、物質化されたFull Relation実装よりも3.60-4.41倍高速である。 PyTorch FlashAttentionスループットの76.4-84.9%に達し、Full Relationオペレータを実行している。 ハイブリッドリレーショナルは75%のリニアリレーショナルレイヤを使用し、強力な言語モデリング品質を実現する。 これらの結果は、トークンの混合に関するリレーショナルファーストのビューをサポートします。

関連論文リスト

• Beyond Triplet Plausibility: Relation Set Completion in Knowledge Graphs [48.16012222834734]
  関係集合完了タスク(RSC)と関係集合埋め込みモデル(RelSetE)を導入する。 RSCは、あるエンティティと意味的に互換性のある欠落した関係を推論することを目的としている。 RelSetEは、観測されたエンティティの関係の中で潜在パターンをモデル化し、失われたパターンを推測する。
  論文  参考訳（メタデータ） (2026-06-29T06:54:40Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Escaping the SpuriVerse: Can Large Vision-Language Models Generalize Beyond Seen Spurious Correlations? [37.703287009808896]
  微調整は、非重要特徴とターゲットラベルの間に急激な相関を引き起こす可能性がある。 実世界の視覚探索探索(VQA)ベンチマークにおいて,GPT-4oエラーを抽出してベンチマークを作成する。 SpuriVerse上で15のオープンソースLVLMを評価し、最先端のクローズドソースモデルでもかなり苦労していることを発見した。
  論文  参考訳（メタデータ） (2025-06-23T06:11:43Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• The All-Seeing Project V2: Towards General Relation Comprehension of the Open World [58.40101895719467]
  本稿では,画像のオブジェクト関係を理解するために設計された新しいモデルとデータセットであるAll-Seeing Project V2を紹介する。 本稿では,テキスト生成,オブジェクトローカライゼーション,関係理解の定式化を関係会話タスクに統合するAll-Seeing Model V2を提案する。 我々のモデルは、画像内の全ての物体を知覚・認識するだけでなく、それらの間の複雑な関係グラフの把握にも優れている。
  論文  参考訳（メタデータ） (2024-02-29T18:59:17Z)
• Relation-Aware Question Answering for Heterogeneous Knowledge Graphs [37.38138785470231]
  既存の検索に基づくアプローチは、異なるホップにおける特定の関係に集中することで、この課題を解決する。 我々は,現在の関係表現を強化するために,ヘッドテールエンティティや関係間の意味的関係からの情報を利用することができないと主張している。 当社のアプローチは,従来の最先端技術よりも大きなパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2023-12-19T08:01:48Z)
• Joint-Relation Transformer for Multi-Person Motion Prediction [79.08243886832601]
  相互作用モデリングの強化を目的とした結合関係変換器を提案する。 提案手法は3DPW-SoMoF/RCで900ms VIMを13.4%改善し, 3s MPJPEで17.8%/12.0%改善した。
  論文  参考訳（メタデータ） (2023-08-09T09:02:47Z)
• A Trigger-Sense Memory Flow Framework for Joint Entity and Relation Extraction [5.059120569845976]
  結合エンティティと関係抽出のためのTriMF(Trigger-Sense Memory Flow Framework)を提案する。 エンティティ認識と関係抽出タスクで学習したカテゴリ表現を記憶するためのメモリモジュールを構築する。 また,エンティティ認識と関係抽出の双方向インタラクションを強化するために,多レベルメモリフロー注目機構を設計する。
  論文  参考訳（メタデータ） (2021-01-25T16:24:04Z)
• A Frustratingly Easy Approach for Entity and Relation Extraction [25.797992240847833]
  本稿では,エンティティと関係抽出のための簡単なパイプライン化手法を提案する。 標準ベンチマーク(ACE04、ACE05、SciERC)における新しい最先端技術を確立する。 このアプローチは基本的に2つの独立したエンコーダ上に構築され、単にエンティティモデルを使用して関係モデルの入力を構築します。
  論文  参考訳（メタデータ） (2020-10-24T07:14:01Z)
• Relation of the Relations: A New Paradigm of the Relation Extraction Problem [52.21210549224131]
  我々は,関係抽出(RE)の新たなパラダイムを提案し,同じ文脈におけるすべての関係の予測を総合的に検討する。 我々は、手作りのルールを必要としないデータ駆動型アプローチを開発し、グラフニューラルネットワークと関係行列変換器を用いた関係関係(RoR)をそれ自体で学習する。 実験の結果、私たちのモデルはACE05データセットでは+1.12%、SemEval 2018 Task 7.2では2.55%で最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-06-05T22:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。