使用CUDA实现并极致优化softmax
相关文章智能推荐
1
CUDA KV Cache：分页存储与长上下文 Decode 极致优化
面向大模型推理拆解 KV Cache 容量、分页寻址、向量化 append、GQA decode 与 split-KV，并用 FlashInfer 和 PyTorch 做长上下文实测。
2
CUDA FlashAttention：从在线 Softmax 到长序列 IO 极限
以大模型因果 Attention 为背景，从二次中间矩阵、在线 Softmax、分层 tile 与 warp/MMA 数据流出发，实现并验证 FlashAttention 的 CUDA 优化。
3
CUDA LSMR 专栏（三）：递推融合与 8kv/11kv 实测
把 LSMR 小向量递推融合为 CUDA kernel，并用两组真实 FP32 重建输入对齐 CuPy 的迭代、残差与性能。
4
大模型FCN算子（GEMM）CUDA实现
CUDA学习之路从标量基线到 Tensor Core、异步流水、低比特缩放和分段调度：构建一个面向大模型全连接层的工业级 GEMM 算子族。
5
通用稀疏矩阵乘法CUDA算子实现
CUDA学习之路从 CSR/COO 的 SpMV，到面向多右端项的 SpMM：格式、线程映射、精度策略和自适应调度如何共同决定稀疏算子的上限。
随机文章随机推荐
橙子派的博客！
音乐
暂未播放
0:000:00
文章
8
分类
3
标签
22
总字数
30,358
运行时长
0 天
最后活动
0 天前
站点域名chengzipai.xyz
chengzipaiv6.13.3
Astrov7.0.2
Nodev22.22.0
pnpmv9.14.4
构建时间2026年7月15日 21:03:00
系统信息Linux / x86_64