交叉熵、互信息、KL散度

近来在看对比学习，其中大量出现互信息的概念，和KL散度、交叉熵千丝万缕，加上总是记了又忘，所以觉得还是自己写个笔记比较好。

此文参考Visual Information Theory

阅读全文