CUDA FlashAttention：从在线 Softmax 到长序列 IO 极限
以大模型因果 Attention 为背景，从二次中间矩阵、在线 Softmax、分层 tile 与 warp/MMA 数据流出发，实现并验证 FlashAttention 的 CUDA 优化。
RSS 订阅
RSS 订阅
通过 RSS 订阅，第一时间获取最新文章和动态
RSS 链接
复制链接到你的 RSS 阅读器
https://chengzipai.xyz/rss.xml最新文章
CUDA KV Cache：分页存储与长上下文 Decode 极致优化
面向大模型推理拆解 KV Cache 容量、分页寻址、向量化 append、GQA decode 与 split-KV，并用 FlashInfer 和 PyTorch 做长上下文实测。
CUDA LSMR 专栏（三）：递推融合与 8kv/11kv 实测
把 LSMR 小向量递推融合为 CUDA kernel，并用两组真实 FP32 重建输入对齐 CuPy 的迭代、残差与性能。
CUDA LSMR 专栏（二）：用 CSR/CSC 双存储压榨双向 SpMV
拆解 LSMR 中 A·v 与 Aᵀ·u 的稀疏数据通路，解释 CSR/CSC 双存储、行长负载不均和显存池的收益与代价。
CUDA LSMR 专栏（一）：从迭代公式到分层库架构
从 Golub-Kahan 双对角化出发，拆解一个纯 CUDA FP32 LSMR 库的性能上界、接口边界与分层架构。
大模型FCN算子（GEMM）CUDA实现
从标量基线到 Tensor Core、异步流水、低比特缩放和分段调度：构建一个面向大模型全连接层的工业级 GEMM 算子族。
什么是 RSS？
RSS（Really Simple Syndication）是一种用于发布经常更新内容的标准格式。通过 RSS，你可以：
- 及时获取网站最新内容，无需手动访问
- 在一个地方管理多个网站的订阅
- 避免错过重要更新和文章
- 享受无广告的纯净阅读体验
推荐使用 Feedly、Inoreader 或其他 RSS 阅读器来订阅本站。
橙子派的博客！
音乐
暂未播放
0:000:00
文章
8
分类
3
标签
22
总字数
30,358
运行时长
0 天
最后活动
0 天前
站点域名chengzipai.xyz
chengzipaiv6.13.3
Astrov7.0.2
Nodev22.22.0
pnpmv9.14.4
构建时间2026年7月15日 21:03:00
系统信息Linux / x86_64