Master

【综述】一文读懂卷积神经网络(CNN)

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。本文旨在介绍CNN的基本概念和结构，以及CNN网络架构设计的基本思路。一、卷积神经网络介绍 1. 什么是卷积神经网络？卷积神经网络是多层感...

Posted by 本初ben on January 7, 2025

卷积神经网络

卷积神经网络 K 紧邻算法： 1、计算已知类别数据集中的点与当前点的距离 2、按照距离依次排序 3、选取与当前点距离最小的 K 个点 4、确定前 K 个点所在的类别的出现频率 5、返回前 K 个点出现频率最高的类别作为当前点预测类别推荐数据集：CIRAR-10 增加正则化惩罚可以减少过拟合。反向传播用来降低损失，一般使用梯度下降。激活函数：常用 Relu 作为激活函...

Posted by kalos Aner on January 4, 2025

联邦学习之联邦LLM微调

联邦微调系列引言 LLM 是非常强大的工具，但是它的训练却受到场景的限制。考虑在一个多个地区的医院里使用医疗数据来训练 LLM，由于医疗数据都是隐私数据，所以不能把数据传输到服务器进行训练，这时就需要用到联邦 LLM 微调。在进行联邦 LLM 微调时有两点需要注意：第一点：不要试图从头开始训练 LLM，而是使用预训练模型，并使用私有数据进行微调。第二点：进一步优化标准的...

Posted by kalos Aner on December 28, 2024

联邦学习中的挑战与解决方案

维度特点难题解决方案数据 1、数据分布异构：客户端本地数据之间不服从同一分布2、数据质量差：客户端数据缺少标注本地训练过拟合，出现本地偏差问题，影响全局模型性能客户端训练缺乏有效监督 1、通过数据共享改善分布差异2、改善本地更新目标（增加...

Posted by kalos Aner on December 16, 2024

联邦学习之带宽需求

联邦学习系列联邦学习之基础用法联邦学习之分布训练联邦学习之自定义化联邦学习之隐私增强联邦学习之带宽需求引言本节介绍从理论上推理联邦系统的带宽使用情况，以及如何在实践中使用 Flower 来测量带宽消耗。理论分析需要考虑到：发送个客户端的模型或者客户端发送来的更新模型可以压缩；每次聚合不对所有的客户端进行聚合而是采用抽样的方式；可以有以下计算公式。带宽消...

Posted by kalos Aner on December 6, 2024

联邦学习之隐私增强

联邦学习系列联邦学习之基础用法联邦学习之分布训练联邦学习之自定义化联邦学习之隐私增强联邦学习之带宽需求引言虽然联邦学习可以避免数据上传到服务器而导致隐私泄露，但是恶意攻击者可以通过攻击服务器对模型进行重构攻击还原用户的隐私，并且拥有很高的还原质量。差分隐私（DP）是在数据分析期间为个人增强隐私的一种突出解决方法。它通过向查询结果添加校准噪声来模糊个人数据，确保任何...

Posted by kalos Aner on December 5, 2024

联邦学习之自定义化

联邦学习系列联邦学习之基础用法联邦学习之分布训练联邦学习之自定义化联邦学习之隐私增强联邦学习之带宽需求引言本节介绍自定义联邦学习。当客户端很多时每一次聚合的收益会随着选择的客户端数量递减，所以不需要选择所有的客户端进行聚合，只需要选择客户端的一个子集。在拥有百万的客户端的场景下只需要选择数百个客户端，或者最多数千个。根据任务的不同，可以有不同的策略。常见的选择策略...

Posted by kalos Aner on December 4, 2024

联邦学习之分布训练

联邦学习系列联邦学习之基础用法联邦学习之分布训练联邦学习之自定义化联邦学习之隐私增强联邦学习之带宽需求引言本小节使用 Flower 和 PyTorch 运行联邦学习项目，该项目使用到的模型和数据只是一个示例但是可以扩展到大多数模型和数据集像：TensorFlow、JAX、Hugging Phase Transformers等。本小节所用到的资源都放在这里。在一...

Posted by kalos Aner on December 3, 2024

联邦学习之基础用法

联邦学习系列联邦学习之基础用法联邦学习之分布训练联邦学习之自定义化联邦学习之隐私增强联邦学习之带宽需求引言大量的标注数据会极大地提升模型训练的性能，但是公共的的可用标注数据会随着时间逐渐被耗尽，然而还有很多私人数据没有被用来训练模型，因此联邦学习有着很重要的作用。 utils1 库是一个自定义的包，包括这个包之内的所有资源都放在这里。数据处理 1 2 3 ...

Posted by kalos Aner on December 2, 2024

Python运行requirements.txt 文件安装包

从requirements.txt安装依赖 1 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 加上后面的 -i https://pypi.tuna.tsinghua.edu.cn/simple 的作用是指定清华大学的镜像，下载速度更快。

Posted by KalosAner on December 1, 2024

Conda创建虚拟环境并安装Pytorch

概述本文主要针对在Anaconda3中创建虚拟环境并安装Pytorch学习框架，Ubuntu和Windows下操作基本一致。创建虚拟环境在终端下，创建环境的命令是 1 conda create -n your_env_name(虚拟环境名称) python==xx(想要创建的虚拟环境的python版本号) 可以根据自己需要修改，例如要创建基于python_3.8的1.7版本...

Posted by KalosAner on November 30, 2024

PyTorch、TorchVision、CUDA Toolkit 和 Python 版本的对应关系

截至 PyTorch 2.1 发布时 PyTorch、TorchVision、CUDA Toolkit 和 Python 版本对应表 PyTorch 版本 TorchVision 版本 CUDA Toolkit 版本 Python 版本 2.1.0 0.16.0 ...

Posted by KalosAner on November 29, 2024

联邦学习应用场景

联邦学习应用场景基于摄像头的在线作弊识别系统 web视频网站个性化推荐系统自适应训练机制：引入强化学习和元学习的方法，使得协同训练过程能够根据环境变化自适应调整参数和策略，提高训练效率和模型性能。蒸馏学习：探索知识蒸馏在分布式协同训练中的应用，通过大模型指导小模型的训练，使得小模型在资源受限的边缘设备上也能达到较高的性能。模型剪枝与量化：研究适用于移动边缘设备的模型剪枝和量...

Posted by kalos Aner on November 10, 2024