核心内容总览
本站笔记与解读目录入口。
Cover Image of the Post
解读板块目录
本站解读板块的文章目录。
Cover Image of the Post
全网Infra优秀资料合集
AI Infra 优质学习资料索引,汇集公众号、视频、开源项目、各平台模型部署教程与专题资源。
Cover Image of the Post
LeetGPU Index
LeetGPU 题解索引,汇总 CUDA、Triton 与 PyTorch 实现笔记。
Cover Image of the Post
llm-algo-leetcode 推理优化笔记
Datawhale llm-algo-leetcode 推理优化课程的笔记导航页,汇总本系列各 Task 的学习笔记(GPU 架构与内存、KV Cache 优化技术等)。
Cover Image of the Post
LeetCode | 题解汇总
LeetCode 题解汇总。
Cover Image of the Post
Roofline Model
Roofline Model 的基本概念、Arithmetic Intensity、memory-bound / compute-bound 判断,以及 GEMM、FlashAttention、算子融合等常见优化方向。
Cover Image of the Post
推理结构地基
Datawhale llm-algo-leetcode 推理优化课程 Task 0(Attention MHA 与 GQA)学习笔记,正在完善中。
Cover Image of the Post
从 Logits 到 Token:解码采样策略
从 Logits 到 Token 的解码采样策略:Temperature、Top-K、Top-P(Nucleus)原理,以及 Claude Code 文字水印技术。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。
Cover Image of the Post
Speculative Decoding
投机解码(Speculative Decoding)与多 token 解码技术:基本原理、分类,以及 MTP、DFlash、DSpark 概览。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。
Cover Image of the Post
KV Cache 与推理服务内存管理
KV Cache 与推理服务内存管理:vLLM PagedAttention、SGLang RadixAttention、Prefix Caching 与 Chunked Prefill。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。
Cover Image of the Post
模型量化策略
量化推理与部署:INT4/INT8 量化理论、W8A16、GPTQ 与 AWQ 权重量化。Datawhale llm-algo-leetcode 推理优化课程 Task 5 笔记,正在完善中。
Cover Image of the Post
访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态

文章目录