Zhao Dongyu's Blog

学习Final Cut Pro的笔记，提高生产力。

今天看的论文的排版真的太好看了！开始学习LaTeX，整个过程记录一下。

万物皆可RSS！

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.

vLLM 支持 FP8(W8A8)了，开始学习fp8 ，写一个 FP8(W4A8)算子，减少一些IO吞吐，看看能不能提升性能。

开始学习 ComfyUI，学学文生图相关的知识

Marlin Kernel是IST-DASLab 开发的GPTQ量化模型高性能 FP16(activation) x INT4(weight) GEMM算子实现，在现有W4A16 GEMM Kernel中，Marlin Kernel性能是最好的。

作为一个不会cuda的小白，研究完marlin算子之后神清气爽，

【长文预警 & 多图预警】

在知乎看到这么一句话：

跟着好好上韩松的课程，把 lab 都自己认真做一遍，特别是 AWQ 那套算法和推理的框架 （quantizaiton），只要能读懂整套代码，就能自己回答你问的问题了～

感觉自己其实没有一个系统的学习，于是跟着韩松学习一遍，在此记录一下。

近期在Mac M1上使用tensorflow，发现不能用了。报错：

The TensorFlow library was compiled to use AVX instructions, but these aren't available on your machine.

做一些在树莓派zero w 上面的实验，这里记录一下整体流程。