TrojanNN
Note不需要使用原本的数据集的后门攻击,
“INTRODUCTION” (pdf)对比增量学习,增量学习因为原本的权重很大,所以没法是模型直接改变行为
提出trojan trigger,即使用触发器来达到植入后门,不会影响其他数据并且使用少数据集进行训练
Overview三个步骤:
触发器生成器
训练数据生成器
模型重训练
Trojan trigger generation通过选定某些层的某些神经元作为最大值激活的目标,来反向梯度传播调整后门标识的值,即在标识和神经元之间建立强联系,然后通过神经元的选择和训练,和最终结果建立强联系
神经元的选择
反向梯度传播的详细过程
Training data generation通过反向梯度传播来找到每一个分类结果的最大化样本图片作为模拟训练集
细节:
就是一个基本的梯度下降,loss是均方误差
mask是用来和梯度相乘,来掩盖掉其他部分的梯度的
DENOISE Function 降噪,思想是使用最小化总方差,值为像素之间的平方误差之和,来使像素之间平滑,作用是可以提升准确率
Retraining model训练过程中要注意的
...
people
属实是不太理解别人会将一个主动热情的人的热情与谦逊看得廉价会将高冷与漠然视作向往一方面可能是对当对别人主动和热情时,结局
优秀也够了,本质的性格也不差,就是面对人一直一幅冷冷和心事重重,不愉快的样子
总是一幅有心事的样子,有所忧虑,忧虑啥呢?忧虑别人看我有所忧虑所以不敢接近我,导致一直和我不熟傻逼吧
确实没什么安全感,主动和别人说没营养的话会被看低,心情又没有安定到可以随意的侃侃而谈,不说话又觉得过于冷淡,怕别人觉得我冷漠无情
可能当自己有自己的家室,有自己引以为傲的工作,朋友和伴侣的时候,才会好一点,但是这应该是过程的收获,而不是目标和结果啊
不满足于现状可能才是心魔,还是田总的评价,“野心太大”
Transformer
理解一样东西需要细节数学运算和宏观意义把控,缺一不可理论的理解和实践的熟练也缺一不可
相关学习资料论文原文:Attention is all you need
注意力机制讲解:3B1Battention
transformer代码实现:Whole code李沐
hugging-face:encoder & decoder
论文写作
相关工作写清楚论文中用到的知识,哪些是前人已有的工作,哪些是作为自己的创新和不同而提出的
论文本质上是给别人介绍自己的工作,想一下如果论文火了能不能成为经典
ai之所以是玄学是因为,关键在于根据loss来反向传播更新权重,但是当参数量很大的时候,权重的具体表现,权重的改变对整个模型带来的影响,包括对数据有很多可行的处理方式,都是无法直观的理解不同设计的意义,以及不同改变带来的结果是怎么样的,都只能做事后诸葛亮
并不是每一步都有显著的意义,太不美了,不如数学,比如为啥要除的是 $\sqrt{d_t}$而不是$d_t$,
Transformer 架构理解总架构如图(摘自论文):
概述总的来说,transformer是一个seq2seq的序列转 ...
Kubernetes
物理云:通过计算机网络提供的数据中心的计算资源服务
云计算:资源池化来提供服务的模型,有iaas,paas…,层不一样
无服务计算:只关心应用程序的逻辑,其他的任务如服务的实现交给cloud provider
Faas:会计算这个函数,这种输入用到多少CPU等资源消耗,进而进行计费
云端开发程序的一个目的是随着用户越来越多,弹性的扩展资源,是基于云提供商提供的服务开发一个更为上层的服务
KVM在内核去监管用户空间的虚拟机应用,硬件的虚拟化由QEMU实现,虚拟机对虚拟硬件资源的请求会翻译为内核空间的指令,通过KVM调度真实硬件资源
云的开销部分来自于Hypervisor等带来的资源消耗,以及OS的许可
容器没有虚拟化,是基于OS的运行环境打包,其大小也是弹性的,取决于你需要多少资源所以编排容器的时候需要声明容器的环境以及容器之间的交互情况,所谓环境是包管理和资源分配
镜像(image):系统状态的快照,存有相关的静态资源,运行时成为系统组件所以容器镜像实在基础镜像之上添加层,容器是镜像的运行载体,镜像也由容器创建
Dockerfile会按层通过docker builder构建镜像,在ba ...
Miscellanea
返回登录:Ctrl + Alt + Delete 或者 sudo systemctl restart sddm.service
搜多文件内容:grep -rn "runlog" *
从大到小显示存储占用排名:sudo du -ah / | sort -rh | head -n 20
Server一般不允许自己安装包,有几个方式来安装:
使用模块化系统加载预装软件包:12module avail # 查看可用软件模块module load python/3.8 # 加载特定版本的 Python
使用conda:curl安装:
123456curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shchmod +x Miniconda3-latest-Linux-x86_64.sh./Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/minicondaexport PATH="$HOME/miniconda/b ...
图书馆窗边有感
24年3月27日,阴
成都的天像是小孩的脸,喜笑颜开与闷闷不乐之间仿佛没有什么界限,窗边的风也随着心情的起伏时而拂过我在键盘上的指尖,平淡中也许有几分惬意
还是一个往常的日子,向往常一样起床,洗漱,做到图书馆的窗旁,向往常一样认为今日不往常,总是在夹杂着安逸和焦虑的复杂心态中带上耳机,沉浸到人类最伟大的作品——音乐中,感受着音乐的艺术幻境带给我的平静,幻想着今日能解决困扰了我许许多多个“今日”的问题
窗边是人群的流水,和几颗饱满丰腴的树。大学是个神奇的地方,晴天是充满朝气的,而阴天似乎也很少有不快,只是有一种安逸的宁静,仿佛汇聚了最多的善意,没有高中的硝烟四漫,也没有公司的惶惶不可终日,有的是散漫之上的希望,如黄沙中的树,也如废土里的花。人群流动着,上下课的高峰像是染剂四散在水中的刹那,看得出来,奔去上课的同学们被书包压弯了肩,下课奔出的同学们教学楼的门口的美景惊昂了头,那脸上的释然和仿佛刚从监狱里释放的自由快乐是掩盖不来的,不知道十年之后,他们是否会怀念这一段最青春的时光
而我,一个泛泛之辈,在窗边写着在现在的我看来,足以骄傲到取悦自己小小见解,这见解是否对 ...
关于对学习方法的思考
时间是经不起考验的,当回首度过的时光,总觉得意犹未尽,总有可以优化和提升的地方,理想之境是无愧于自己度过的时光,以高效和有价值来作为回忆的温床时间是我拥有的最锐利的武器,用之不善,则如将士钝了刀,任有一身武艺,却不得十步杀一人而将士有宝刀,则杀敌事半功倍,在配之以一个明确的志向,自能达到理想之境
知识是有限的,有限在于其毕竟为人类所创建之认知,总有办法可以解释知识也是无限的,无限在于历代所积淀的经验和学识之深厚,岂是一朝一夕能掌握,况且惊才艳艳之辈数不胜数,知识大厦太厚太高
所以作为一个普通人,在有限的时间里用正确的方法来高效掌握知识,需要看清知识的本质,以及人脑对知识的组织方式,才能将working的时间组织的有条理
时间与精力都是有限的资源,如何根据自己所拥有的时间和精力,正确的组织和调度资源来完成任务
然而悲惨的意识到,如果将学习的过程看作是机器的运转,那乐趣可能只在于高效本身了,所以兴趣来源于什么呢?所达成的成就的正向反馈吗?成就的意义是什么,只自己而言,真的有那么在意一些事情的成败和得失吗,拥有本身能带来什么乐趣呢?
创造价值,利人利己
学科理论大 ...
qemu原理探究
虚拟化技术几个疑问:
为什么python,Java等要采用虚拟机来执行?
既然虚拟机最终要落在物理机的身上,为什么不去做和C一样的,针对编译器的适配,为什么不设计为编译执行的语言,而要加一个虚拟机中间层?
python和java等解释性语言的执行:源代码 - 字节码 - 解释器 - 虚拟机 - 物理机
python等易于开发的语言在设计时为了保证尽量减少底层差异对开发者的影响,对物理机做了一层虚拟机抽象,统筹和封装了硬件资源的操作,同时也隔离了python对底层硬件的操作
虚拟机跨平台的实现,是很多虚拟机是由C编写的,同时也考虑了对不同体系结构的优化和适配(提高字节码的执行效率)
C语言跨平台的实现:不同的编译器会针对特定平台和体系结构进行优化,生成不同的机器码
搭嘎,C也有虚拟机,如LLVM中的JIT(Just-in-Time),和一些嵌入式中的实现
虚拟机化技术自1974年提出到现在,愈发常见和常用,其核心概念离不开Hypervisor(虚拟机监视器),接下来深入探讨
Hyervisor有两种方案,一种是直接对硬件层的Hypervisor,在此基础上建立Guest OS,代表作 ...