CUDA LSMR 专栏(三):递推融合与 8kv/11kv 实测
把 LSMR 小向量递推融合为 CUDA kernel,并用两组真实 FP32 重建输入对齐 CuPy 的迭代、残差与性能。
CUDA LSMR 专栏(二):用 CSR/CSC 双存储压榨双向 SpMV
拆解 LSMR 中 A·v 与 Aᵀ·u 的稀疏数据通路,解释 CSR/CSC 双存储、行长负载不均和显存池的收益与代价。
CUDA LSMR 专栏(一):从迭代公式到分层库架构
从 Golub-Kahan 双对角化出发,拆解一个纯 CUDA FP32 LSMR 库的性能上界、接口边界与分层架构。
大模型FCN算子(GEMM)CUDA实现
从标量基线到 Tensor Core、异步流水、低比特缩放和分段调度:构建一个面向大模型全连接层的工业级 GEMM 算子族。
通用稀疏矩阵乘法CUDA算子实现
从 CSR/COO 的 SpMV,到面向多右端项的 SpMM:格式、线程映射、精度策略和自适应调度如何共同决定稀疏算子的上限。
使用CUDA实现并极致优化softmax
这篇文章目前处于草稿状态,尚未发布。因此,它不会对普通读者可见。内容仍在进行中,可能需要进一步编辑和审查。
Profile Image of the Author
橙子派
你好,我是橙子派。
公告
橙子派的博客!
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
分类
标签
站点统计
文章
6
分类
3
标签
15
总字数
20,792
运行时长
0
最后活动
0 天前
站点信息
构建平台
Local
博客版本
chengzipai v6.13.3
文章许可
None

文章目录