LLM 算子刷题
面向 LLM 的 GPU 算子刷题，CUDA、Triton、PyTorch 三种框架：先练对，再练快。
开始第 1 关 →第 1 篇 LLM 基础算子
逐元素
- 1向量加法简单
- 2矩阵加法开发中
- 3ReLU开发中
- 4GELU开发中
- 5SiLU开发中
- 6SwiGLU开发中
数据搬运
- 7矩阵转置开发中
- 8词嵌入查表开发中
- 9按索引累加开发中
归约与扫描
- 10求和归约开发中
- 11点积开发中
- 12直方图开发中
- 13前缀和开发中
归一化
- 14Softmax中等
- 15交叉熵损失开发中
- 16LayerNorm开发中
- 17RMSNorm开发中
- 18残差相加与 RMSNorm 融合开发中
矩阵乘
- 19矩阵乘法简单
- 20矩阵向量乘开发中
- 21通用矩阵乘 GEMM开发中
- 22FP16 批量矩阵乘开发中
- 23LoRA 线性层开发中
第 2 篇 LLM 组件
注意力
- 24Softmax 注意力开发中
- 25分组查询注意力 GQA开发中
- 26因果注意力开发中
- 27多头注意力开发中
- 28FlashAttention开发中
位置编码与 KV cache
- 29旋转位置编码 RoPE开发中
- 30QKV、RoPE 与 KV cache 更新融合开发中
- 31PagedAttention开发中
- 32Flash Decoding开发中
解码与采样
- 33逐行 Argmax开发中
- 34Top-K 选择开发中
- 35Top-p 采样开发中
量化
- 36权重反量化开发中
- 37INT8 矩阵乘开发中
- 38INT4 矩阵乘开发中
- 39FP8 分块缩放 GEMM开发中
混合专家 MoE
- 40MoE Top-K 门控开发中
- 41MoE token 分发开发中
- 42分组 GEMM开发中
- 43MoE SwiGLU 融合开发中
训练
- 44RMSNorm 反向开发中
- 45注意力反向开发中
- 46AdamW 融合更新开发中
整块
- 47SwiGLU MLP 块开发中
- 48Llama Transformer 块开发中