Square-based adversarial patch optimization 是一种对抗性补丁生成方法，其核心思想是通过方块（square）形式的区域划分和优化来生成对抗性补丁，以在目标任务中实现攻击效果。它是一种专门设计用于黑盒攻击的优化方法，适用于需要高效和大规模生成对抗性补丁的场景

背景

对抗性补丁是一种特殊形式的对抗样本，它通过在输入图像的特定区域添加显著干扰（如某种图案或贴纸）来欺骗机器学习模型。传统补丁优化方法存在以下问题：

  1. 计算复杂度高：

    • 全图优化需要对大量像素进行梯度计算，尤其在黑盒环境下显得尤为困难。

  2. 黑盒场景中的挑战：

    • 黑盒攻击无法直接访问模型的梯度信息，需要通过迭代查询模型输出进行优化，这种方式通常效率较低。

  3. 扩展性问题：

    • 大规模补丁生成在计算资源受限时难以实施。

为了应对这些挑战，square-based adversarial patch optimization 提出了基于方块的策略，显著提高了效率和扩展性

核心方法

1. 方块划分（Square Partitioning）

  • 目标区域划分：

    • 将对抗性补丁划分为多个小方块（squares），每个方块作为优化的基本单元。
    • 通过将全图优化转化为局部小范围优化，降低了计算复杂度。

  • 区域选择策略：

    • 使用概率方块采样（probabilistic square sampling）：
      • 根据攻击目标的敏感区域分配更高的采样概率。
      • 动态调整采样分布以逐步逼近最佳攻击效果。

2. 基于得分的梯度估计（Score-based Gradient Estimation）

  • 模拟梯度信息：

    • 在黑盒场景中，无法直接获取模型的梯度。
    • 通过查询模型的输出（如损失值、分类得分等），间接估计补丁对模型的攻击效果。

  • 局部优化：

    • 对每个方块的像素值进行迭代优化，通过得分信息调整像素值，以逐步增强补丁的攻击能力。

3. 扩展性与高效性

  • 局部与全局结合：
    • 局部方块优化降低了每次迭代的计算成本，全局多方块协作确保攻击效果。
  • 并行化优化：
    • 多个方块可以同时优化，提高效率，适合高维输入数据