本文转载自这篇文章
之前一直没有深入地了解 Non-local 的来源,以为只是同名论文中提出的一个 Block 设计,最近阅读 AlphAction 论文时,突然发现其是来自于 Attention is all you need 中 self-attention 的思想。虽然 Attention 此文是针对 NLP 领域的,但是其思想逐渐被延伸到了视觉领域。在阅读关于 Transformer 中 self-attention 的文章后,在这里记录下对 Non-local 的理解。
本文主要以 cosine metric learning 工程为例,记录了如何将一个 Tensorflow 模型 (包含 ckpt 文件) 移植到 Caffe 框架下。