Zhao Dongyu's Blog

学习Final Cut Pro的笔记，提高生产力。

日常的一些git操作其实已经非常熟悉了，比较欠缺的是团队协作遇到的一些问题。

在此记录一下需要经常查阅的情景。

记录一下flatbuffer的学习

今天看的论文的排版真的太好看了！开始学习LaTeX，整个过程记录一下。

万物皆可RSS！

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

Marlin Kernel是IST-DASLab 开发的GPTQ量化模型高性能 FP16(activation) x INT4(weight) GEMM算子实现，在现有W4A16 GEMM Kernel中，Marlin Kernel性能是最好的。

作为一个不会cuda的小白，研究完marlin算子之后神清气爽，

【长文预警 & 多图预警】

开始学习 ComfyUI，学学文生图相关的知识

vLLM 支持 FP8(W8A8)了，开始学习fp8 ，写一个 FP8(W4A8)算子，减少一些IO吞吐，看看能不能提升性能。

在知乎看到这么一句话：

跟着好好上韩松的课程，把 lab 都自己认真做一遍，特别是 AWQ 那套算法和推理的框架 （quantizaiton），只要能读懂整套代码，就能自己回答你问的问题了～

感觉自己其实没有一个系统的学习，于是跟着韩松学习一遍，在此记录一下。