一、读论文要做中文笔记
如果确定要精读一篇论文一定要做中文笔记,提高阅读效率。
对于摘要可以提取四个主要的点:背景、挑战、提出的新方法、相关贡献。
引言就像是摘要的完整版,主要包括:背景(引出主题)、引出本文的挑战、目前研究概况、提出的新方法、贡献总结。
预先准备基本上都是一些前置知识或者模型相关的信息。
方法的介绍部分可以总结方法的详细细节和依赖的原理。
实验部分需要先介绍实验的目的是什么,其次来描述实验的结果,最后分析实验的原因。
相关工作主要是该领域的发展,平时积累一些相关工作是很有必要的。
精读论文需要了解论文里的每一句公式,每一个模块。
精读代码需要了解模型的设计,数据的计算流程,输入输出,shape。
(1)摘要:背景-挑战-方法-贡献
(2)引言:背景·挑战·研究现状-提出新方法·贡献,更像是一个大号的摘要,但是多了研究现状这一部分,这一部分要与相关工作区分开,他只是简单的描述一下这个领域的发展脉络。而相关工作更为细致一些
(3)相关工作,从研究问题和核心算法两个方面展开,“针对问题- 提出方法- 存在不足”以此循环展开
(4)预先准备,明确模型的输入和输出。
(5)方法部分,总分结构,动机+方法+公式表达+解释公式
(6)实验部分,数据集一实验设置一具体实验一,对于每一块实验呢,实验内容+实验描述+分析原因
(7)结论,背景-方法- 效果-展望未来
二、论文的创新类型
1、算法的创新:CNN,长短期记忆网络
2、架构创新:transformer 最早用于机器翻译
3、迁移创新:vision transformer 用于计算机视觉处理
4、思想创新:预训练,无监督训练,BERT
5、方法创新:informer,swin transformer
6、组合创新:组合创新=基准模型+模块,(三四区:LSTM+Attention+posion embedding)
三、组合创新的流程
一般的科研流程: 1、明确领域内存在的问题(需要广泛的阅读基础,思考能力) 2、提出合适的算法去解决(需要明确每个算法的优点)
组合创新的流程: 1、提出一个组合模型(了解一些顶会顶刊的模型框架,以及具体的算法,并进行总结) 2、了解对应论文中的问题(需要明确论文的动机和贡献,动机是你动机的一部分,贡献是你贡献的一部分)
四、组合创新的举例
1、组合创新公式 组合创新 = 基准模型(Transformer,U-Net)+模块(Attention、GCN、CNN)
如果想发一区: 1)组合的方式: 串行、并行、融合 等等 2)对模块进行微改,或是加入一些小 trick,看起来是具有创新性的
2、生活中的例子 论文1:为了增加蛋白质的摄入,我们做了一盘水煮鸡胸肉 论文2:为了增加维生素的摄入,我们做了一盘菠菜炒鸡蛋 食材:鸡胸肉 ,菠菜,鸡蛋 烹饪方式:水煮,炒 我们的方法:鸡胸肉(鸡丝)+菠菜+凉拌 我们的论文:为了同时增加蛋白质和维生素的摄入,来多方面补充人体营养,我们做了一盘鸡丝凉拌菠菜
3、关于CV的例子 论文1:为了建模视觉数据中的高频特征(局部边缘、纹理),我们利用CNN,通过感受野内的局部卷积覆盖更多的局部信息,从而有效的提取高频表征。 论文2:为了建模视觉数据中的低频特征(场景或对象的全局形状和结构),我们利用 Attention,通过在图片中对所有的 patch 进行信息交换来捕捉全局信息(低频)。 模块:CNN,Attention 我们的论文:为了同时建模视觉数据中的高频和低频特征,我们提出了一种新的模型 CAT,它以一种互补的方式集成了 CNN 和 Attention 的优点,具有同时捕捉高频和低频信息的能力。
五、基准模型
基准模型 = 模型 - 模块(Attention、GCN、CNN) = MLP + Add + Norm + 连接方式
transformer 是 2017 年的论文,CVPR2021关于 transformer 的工作有 43 篇,ICCV 2021有 120 篇。由此可见,transformer 是极其厉害的基准模型。
基准模型改进
1、绘图
2、添加或删除模块
引用的论文
1、领域的开拓者
2、方法简单,方便大家 follow
3、效果一般,方便对比
六、硕士论文
硕士论文五步法:
第一步,确定自己的大框架。
第二步,逐步填写每一块的内容相关知识,算法 相关知识:绪论、相关理论知识(博士论文排列组合) 算法:魔改 CNN+GCN LSTM+ATTENTION
第三步,检查每块内容的正确性
第四步,检查内容和内容之间的逻辑
第五步,检查全文的语法和错别字,参考文献,还有格式,包括排版
端正自己的态度,一个月的时间,工作量,格式,逻辑,动机
专家通常会从这几个问题来找茬:
1、全文格式
2、全文的工作量
3、全文的逻辑性
4、算法的动机
5、算法创新
目录
第一章、绪论
1.1 研究背景和意义 // 解决的难题
1.2 国内外研究现状分析 // 问题-解决方法
1.3 本文研究内容
1.4 论文结构安排
第二章、相关理论知识
2.1 研究对象设计到的一些概念
2.2 解决方法的理论知识
2.3 本章小结
第三章、算法1
3.1 引言
3.2 算法描述
3.3 实验验证
3.4 本章小结
第四章、算法2
4.1 引言 // 连接点。同一个问题一定存在连接点,可以是第二个工作的优先
4.2 算法描述 // A算法做了什么什么,但是没考虑到什么,为了进一步什么,提出B算法
4.3 实验验证
4.4 本章小结
结论
参考文献
致谢
个人简介和成果介绍