AI x Smart Contract : 靜態分析工具做不到的，交給 Prompt Engineering！

Transcript

嗨, 大家好, 我是 Tim 今天 我要 分享 的是 一个 结 合 AI 与 智 能 合 约 的 主 题 我们 如何 用 L L M 的 语 意 理 解 能 力 将 去 侦 测 传 统 静 态 分 析 工 具 难 以 发 现 的 漏 洞 那 过 去 几 年 我们 看到 越 来 越 多 的 De Fi 攻 击 事 件 其 中 的 攻 击 手 法 也 越 来 越 多 样 但 其实 用 了 最 先 进 的 静 态 分 析 工 具 有一 些 依 赖 脉 络 或 是 动 态 触 发 型 的 漏 洞 还是 会 被 漏 掉 那 这 让 我们 思 考 是 否 更 灵 活、 语 意 导 向 的 分 析 方 式 能 补 足 这 些 缺 失 今天 我 会 分享 我们 在

座 的 一个 尝 试 如何 透 过 Pro per Engi neer ing 把 L L M 变 成 漏 洞 审 计 的 助 手 弥 补 静 态 分 析 工 具 的 不 足 我是 Tim, 目前 就 读 成 功 大 学 资 工 系 四 年 级 然后 在 One C V Lab 担 任 We b 3 Engi neer ing Intern 也 参 与 De Fi Hay lab 的 研 究 社 群 那 并 持 续 关 注 区 块 链 与 AI 的 技 术 发 展 这 次 的 一 程 中 我 会 先 说 明 静 态 分 析 工 具 在 侦 测 漏 洞 上 的 盲 点 以及 我们 为 何 开始 尝 试 用 L M 来 做 合 约 审 计 那 接 着 介 绍 我们 怎么 设 计 P ront 知道 L

M 来 审 计 合 约 和 辨 识 漏 洞 并 分享 我们 的 P ront 的 调 整 过 程 还有 不同 P ront 的 发 现 最 后 会 来 谈 谈 我们 这个 专 案 未 来 的 发 展 方 向 那 在 进 入 今天的 主 题 之前 想 先 介 绍 一下 我们 背 后 的 专 案 B US TER 是 一个 针 对 智 能 合 约 的 资 案 研 究 计 划 我们 建 立 了 一 组 De Fi 漏 洞 的 资 料 集 然后 设 计 了 一 套 AI 驱 动 的 侦 测 流 程 我们 不 只是 想 找 出 漏 洞 我们 想 要 打 造 一 套 工 具 帮 助 开 发 者 在 整 个 安全 生 命 桌 体 中 从 早 期 的 侦 测 到 风

险 管 理 都 能 有 更 好的 支 援 那 接 着 进 入 我们 今天的 主 题 首先 让 我们 对 当 今 智 能 合 约 的 分 析 工 具 做 概 括 性 的 介 绍 并 带 到 L M 如何 补 足 这 些 缺 失 在 去 年 智 能 合 约 市 场 有 着 2 亿 美元 的 市 值 然后 预 计 在 20 34 年 会 达 到 19 亿 但 同 时 去 年 发 生 了 400 亿 起 企 攻 击 事 件 造 成 了 21 亿 美元 的 损 失 所以 我们 不能 再 把 安全 当 作 是 可 有 可 无 的 附 加 选 项 而 是 应 该 作 为 智 能 合 约 的 核 心 需 求 随 着 整 个 De Fi 生 态 系 持 续

扩 张 市 场 对 强 健 的 合 约 保 护 机 制 只 会 越 来 越 高 这 不 只是 技 术 问题 更 是 区 块 链 这个 产 业 能 不能 长 久 发 展 的 关 键 那 当 前 我们 习 惯 使 用 静 态 分 析 工 具 来 检 查 智 能 合 约 的 安全 性 但 放 在 漏 洞 多 元 且 复 杂 现在 这 已经 不 够 了 现在 主 流 静 态 分 析 工 具 大 多 是 基 于 App s Tr acing Test Tree 或 是 Re gress 的 方 式 来 进 行 扫 描 那 这 种 方 法 存 在 了 一定 限 制 首先 呢 是 缺 乏 弹 性 的 部分 很 难 根 据 每 个 专 案 的 需 求 去 调 整 检 测

的 逻 辑 那 再 来 误 判 率 高 也是 常 见 的 问题 由 于 缺 乏 上 下 文 的 理 解 常 常 会 把 其实 没 问题 的 程 式 码 标 记 为 有 风 险 那 更 重要 的是 静 态 分 析 工 具 的 检 测 范 围 有 限 通 常 只 能 够 针 对 单 一个 函 数 做 分 析 无 法 掌 握 整 份 合 约 甚 至 是 跨 合 约 之 间 的 交 互 那 因 此 我们 决 定 导 入 L M 用 更 理 解 语 义 与 逻 辑 的 方 式 来 补 上 这 些 盲 点 那 过 去 是 用 R aw b ass 的 方 式 现在 我们 则 以 P rom pt 为 基 础 使 用 P rom pt 不 仅 容易

调 整 可以 针 对 不同 的 需 求 做 出 快 速 的 应 对 那 同 时 L M 还 具 备 快 语 言 的 能 力 不 受 限 于 特 定 的 工 具 还有 语 言 那 更 重要 的是 L M 能 够 捕 捉 静 态 分 析 工 具 难 以 辨 识 的 语 义 关 联 还有 上 下 文 的 脉 络 这样 的 能 力 让 我们 在 审 计 合 约 上 迈 向 了 全 新 的 阶 段 那么 L M 是 怎么 理 解 程 式 码 的 呢 首先 L M 经 过 大 量 程 式 码 的 P ret rain 这 些 资 料 涵 盖 了 各 种 语 言 风 格 设 计 模 式 让 模 型 能 够 学 到 程 式 码 中 的 常

见 逻 辑 以及 架 构 再 来 透 过 T oken izat ion 还有 E mb ed ding 模 型 能 把 每 个 语 法 单 位 转 软 成 像 量 进 一 步 捕 捉 它 们 之 间 的 关 系 那 之 后 是 S elf - Att ention 让 模 型 能 掌 握 整 段 程 式 码 上 下 和 脉 络 例 如 变 数 怎么 被 定 义 函 数 怎么 呼 叫 其实 跨 了 好 几 层 的 结 构 也 能 够 追 踪 这 三 个 特 点 让 L M 成 为 我们 分 析 程 式 码 的 心 理 器 那 值 得 一 提 的是 虽 然 我们 在 简 报 中 用 了 under stand 这个 字 但 其实 L M 并 不是 真的 理 解 程 式 码 L M

在 输 出 时 只是 根 据 上 下 文 去 预 测 下 一个 最 有 可能 出 现 的 T oken 会 是 什么 而已 那 现在 我们 知道 L M 能 够 理 解 程 式 码 但 能 将 L M 用 来 神 迹 吗 我们 都 知道 L M 是 个 通 才 他 什么 都 懂 一点 但 如果 没有 明 确 任 务 指 引 他 可能 会 产 生 幻 觉 或 是 错 误 理 解 程 式 码 这是 我们 不 希望 发 生 的 那 这 时候 P rom pt Engi neer ing 就是 关 键 的 桥 梁 透 过 精 心 设 计 的 P rom pts 我们 可以 把 L M 从 理 解 程 式 码 的 角 色 变 成 审 计 员 然后 就可以 对 症 下 药 针 对 特 定

的 漏 洞 进 行 检 测 那 现在 场 有一 些 碰 过 AI 的人 就 知道 翻 t uning 那 为什么 会 使 用 P rom pt Engi neer ing 而 不是 翻 t uning 呢 那 我们 主 要 有 三 个 考 量 首先 是 成 本 的 部分 P rom pt Engi neer ing 几 乎 没有 训 练 的 成 本 而 翻 t uning 则 需要 额 外 的 训 练 代 价 比 较 高 那 再 来 是 实 验 的 效 率 P rom pt 可以 快 速 的 调 整 还有 测 试 迭 代 速 度 非常的 快 但 翻 t uning 一次 的 改 动 就 需要 重 新 的 训 练 速 度 上 慢 很多 那 最 后 我们 考 虑 的是 弹 性 P rom pt 可以 针 对 每 个 人 物 做

细 条 调 整 上 比 较 自由 但 翻 t uning 需要 应 对 新 的 人 物 一 样 就 需要 重 新 整 个 训 练 简 单 来 说 P rom pt Engi neer ing 就是 更 轻 更 快 更 灵 活 那 简 单 介 绍 完 背 景 后 来 看看 我们 怎么 把 P rom pt Engi neer ing 应 用 在 实 际 的 漏 洞 上 这 次 带 的 漏 洞 呢 是 叫 做 S leep age Mean Am ount 首先 让 我们 来 简 单 了 解 这个 漏 洞 的 成 因 De Fi 很 常 会 进 行 代 币 交 换 那 这 些 Sw ap 必 须 让 用 户 指 定 他们 最 低 能 接 受 换 回 来 的 代 币 数 量 而 这个 数 量 是 不能 够 被

H ot code 的 也 必 须 真的 被 用 到 Sw ap 当 中 那 举 个 例 子 就是 说 譬 如 说 今天 我 换 回 今天 我想 要 换 回 某 个 代 币 那 我 最 低 的 数 量 就是 设 定 为 50 颗 那 假 设 今天 这个 交 易 执 行 后 换 回 来 的是 49 颗 那 这 笔 交 易 就 会 被 re vert 掉 就 不会 真的 被 执 行 下去 以 此 就可以 保 护 我 能 换 回 来 一个 比 较 好的 价 格 那 我 违 反 了 这个 原 则 呢 用 户 就 会 面 临 S inct ure Attack 造 成 损 失 具 体 的 供 给 流 程 可以 看 下面 的 图 示 那 最 左 边 第一 个 流 程 可以 看到 说 供 给

者 在 M ain Pro 里 看到 一个 p ending 的 要 从 代 币 X 换 成 代 币 Y 的 交 易 那 供 给 者 就可以 在 该 交 易 前 先 放 让 买 入 Y 然后 进 一 步 导 致 Y 的 价 格 上 涨 随 后 交 易 者 受 害 者 的 交 易 执 行 以 更 高 的 价 格 买 入 Y 就 因为 着 它 换 为 更 少 数 量 的 Y 然后 呢 在 这 之 后 供 给 者 就可以 把它 Y 卖 掉 并 且 获 利 那 在 了 解 这 漏 洞 步 骤 之 后 我们 可以 看看 两 个 实 际 有 漏 洞 的 程 式 码 第一 个 可以 看到 说 在 这个 函 数 A 的 L iqu idity 里 面 有 两 个 参 数 叫

做 Am ount A Min 和 Am ount B Min 在 这 边 那 这样 的 参 数 呢 是 用 于 限 制 两 种 代 币 的 最 小 值 最 小 能 接 受 换 回 的 数 量 那 可以 看到 这样 的 参 数 并 没有 被 使 用 到 因 此 用 户 无 法 指 定 他们 最 低 能 接 受 换 回 数 量 那就 造 成 前 面 的 攻 击 那 第二 个 翻 例 也可以 看到 就是 呢 这个 合 约 使 用 了 C ur ve 的 Sw ap Fun ction 但 将 所 能 接 受 的 换 回 最 小 数 量 设 成 0 而 不是 让 用 户 进 行 设 置 这 代 表 说 不管 换 回 来 多少 这个 交 易 都 会 执 行 然后 即 使 换 回

的 数 量 远 低 于 使 用 者 的 预 期 也 不会 re vert 这 就 等 于 把 保 护 自己 的 换 回 到 防 线 给 拿 掉 了 那 攻 击 者 一 旦 在 man pool 里 发 现 这样 的 交 易 就可以 很 轻 松 的 进 行 s and wich attack 整 个 过 程 是 完全 没有 风 险 的 而且 受 害 者 的 交 易 保 证 会 被 执 行 那 我们 了 解 漏 洞 成 因 之 后 我们 来 看 为什么 静 态 分 析 工 具 无 法 很 好的 检 测 这个 漏 洞 那 第一 点 呢 是 跟 Sw ap 相 关 的 函 数 有 很多 种 并 不 局 限 于 Sw ap 本 身 它的 名 称 可能 会 是 ex change sale 或 是 bu y

之 类 的 我们 很 难 用 R ole - based 的 静 态 分 析 工 具 去 做 全部 的 涵 盖 那 中 间 第二 点 也是 类 似 的 原因 控 制 这个 能 接 受 换 回 最 小 数 量 的 参 数 它 并 不 定 取 名 叫 做 s li pp age mean amount 像 前 面 看到 两 个 翻 例 都有 各 自 的 取 名 所以 我们 也 很 难 用 R ole - based 去 做 涵 盖 最 后 呢 这 些 合 约 并 不 定 是 用 sol idity 写 的 像 是 vi per rust 都是 能 编 写 合 约 的 语 言 那 用 于 其 中 一 种 语 言 的 静 态 分 析 工 具 很 难 被 用 到 其 他的 语 言 上面 那 介 绍

完 这个 漏 洞 的 背 景 之 后 来 看看 我们 的 实 验 环 节 针 对 这个 pr ont or 的 实 验 呢 我们 dat as et 各 准 备 了 29 笔 的 测 词 其 中 p osit iv data 也 就是 包 含 漏 洞 的 测 词 主 要 是 从 con fer ena 还有 on chain 的 cont ent 里 面 去 取 得 那 neg ative 的 d ata 呢 则 是 不 包 含 漏 洞 的 我们 拿 open za pling 还有 龙 头 协 议 的 合 约 我们 有 了 标 记 好的 dat as et 之 后 我们 接 下 来 的 任 务 就是 要 有 效 率 的 评 估 每 个 pr ont or 的 表 现 所以 我们 设 计 了 一 套 自 动 化 的 测 试 流 程

第一 步 我们 先 载 入 标 记 好的 资 料 包括 每 一 笔 合 约 实 际 上 是不是 有 漏 洞 我们 都 已经 有 先 标 记 好了 接 着 呢 我们 通 过 N 8 的 we b h ook 把 这 些 资 料 送 进 l n 一 笔 一 笔 请 l n 做 判 断 然后 呢 我们 再 把 l n 给 的 回 应 跟 原 本 的 资 料 去 做 比 对 看看 l n 的 判 断 是 否 正 确 之 后 呢 我们 就可以 根 据 这 些 分 类 来 计 算 出 像 是 acc ur acy prec ision 或 是 rec ord 这 些 常 见 的 这个 表 现 的 指 标 那 这个 流 程 最 大 好 处 就是 每 次 我们 搞 完 pr ont or 之

后 呢 我们 都 可以 很 快 速 的 得 到 回 馈 的 数 据 不 需要 靠 人 工 一 笔 一 笔 对 答 案 这 达 大 提 升 我们 测 试 pr ont or 实 验 的 效 率 那 这个 简 单 看一下 这是 上 页 的 N 8 的 内 部 的 逻 辑 我们 使 用 G P T 4 mini 作 为 检 测 pr ont or 表 现 的 模 型 然后 我们 要 特 别 使 用 的 op pass er 来 固 定 l n 的 输 出 格 式 那 前 页 提 到 的 op pass er 的 目 的是 为 了 将 l n 回 传 的 结 果 转 换 为 结 构 化 的 资 料 让 后 续 的 流 程 更 加 方 便 我们 在 op pass er 里 定 义

了 一些 必 须 包 含 的 资 料 像 是 这个 漏 洞 摘 要 然后 漏 洞 的 严 重 程 度 发 生 这个 漏 洞 的 这个 程 式 码 细 节 这 边 然后 最 后 的是 发 生 漏 洞 程 式 码 片 段 最 后 就是 修 正 建 议 那 最 终 我们 从 最 终 我们 程 式 从 N 8 回 收 到 的 资 料 为 一个 阵 列 其 中 阵 列 每 个 元 素 就是 向 右 边 的 这个 一个 j son object 也 就是 l n 侦 测 到 的 一个 漏 洞 那 我们 判 断 l n 是 否 正 确 判 断 漏 洞 正 确 辨 识 漏 洞 依 据 是 看 l n 回 传 的 阵 列 是 否 为 空 假 如 l n 的 输

出 是 一个 空 阵 列 我们 便 认 定 l n 没有 在 此 份 合 约 中 找 到 漏 洞 那 反 之 假 如 l n 产 生 了 一个 非 空 的 阵 列 我们 就 认 定 阵 列 的 每 个 元 素 就是 l n 找 到 的 包 含 漏 洞 的 函 数 然后 在 mat ric 方面 呢 我们 采 用 了 混 淆 矩 阵 其 中 看到 这个 tr ue posi tive 部分 就是 该 测 支 是 有 漏 洞 的 而 l n 也 正 确 判 断 出 漏 洞 那 tr ue nega tive 呢 就是 该 测 支 是 安全 的 没有 漏 洞 的 而 我们 的 l n 也是 判 断 成 它 是 安全 的 那 fal se posi tive 呢 就是 该 测 支 没有 漏 洞 但 l

n 却 错 误 的 找 到了 漏 洞 最 后 fal se nega tive 就是 该 测 支 有 漏 洞 但是 l n 却 没有 找 到 然后 这是 我们 右 边 是 我们 的 输 出 结 果 可以 看到 就是 我们 有 mat ric 就是 一个 混 淆 矩 阵 下面 还有 我们 一些 常 见 的 效 能 指 标 在 下一 页 会 介 绍 到 然后 在 混 淆 矩 阵 之 上 我们 使 用 了 一些 指 标 来 衡 量 我们 pr ont 的 表 现 其 中 act ual cy 就是 这个 pr ont 的 整 体 的 正 确 率 pre cision 就是 l n 判 断 有 漏 洞 的 合 约 中 真的 有 漏 洞 的 比 例 那 record 是 在 我们 测 试 里 面 有 漏 洞 的 合 约 然后 l n

找 到了 多少 比 例 的 最 后 f 1 score 的是 pre cision 跟 record 的 综 合 表 现 那 接 下 来 可以 进 入 到 我们 pr ont 的 设 计 与 表 现 我们 总 共 设 计 了 三 个 版 本 的 pr ont 第一 版 的 pr ont 列 出 了 会 造 成 这个 漏 洞 的 原因 让 l n 根 据 清 单 去 做 比 对 那 又 有 方 式 第一 版 的 pr ont 的 架 构 我们 在 漏 洞 描 述 之 后 呢 加 上 了 这个 检 测 的 清 单 那 清 单 里 面 我们 包 含 了 三 点 就 这个 参 数 它 不能 够 被 设 为 0 这个 参 数 呢 必 须 要 被 使 用 到 另外 这个 参 数 也 不能 够 被 这个

硬 编 成 在 这 一 版 的 pr ont 表 现 上 ac us 大概 在 0. 48 左右 我们 发 现 这 一 版 的 pr ont 有 着 很 低 的 pre cision 表示 l n 将 很多 实 际 上 没有 漏 洞 的 合 约 辨 识 为 有 漏 洞 然后 在 我们 检 查 l n 给 出 的 漏 洞 报 告 时 我们 发 现 l n 很 容易 因为 发 现 目 标 参 数 就 当 作 它 是 一个 漏 洞 而 没有 去 真 正 审 视 这个 参 数 有 被 正 确 的 使 用 到 只有 可能 是 pr ont 中 没有 指 定 l n 进 行 分 析 的 原因 导 致 l n 很 常 会 发 生 就是 看到 黑 影 就 开 枪 的 情况 然后 于 是 我们

就 决 定 为 pr ont 加入 一个 推 理 的 流 程 这 边 所 使 用 到 的 技 巧 叫 做 chain of thou ghts 透 过 将 推 理 步 骤 一 步 一 步 告诉 l n 让 它 按 照 我们 给 定 的 步 骤 去 做 逐 步 分 析 这 有 助 于 提 升 l n 的 推 理 能 力 那 这么 做 主 要 目 的是 为 了 将 l n 模 仿 我们 人 类 的 思 考 方 式 在 我们 这个 辨 识 漏 洞 的 场 景 当 中 我们 便 希望 l n 能 够 模 仿 省 纪 元 的 这个 思 维 同 时 透 过 将 l n 的 思 考 流 程 输 出 我们 能 更 方 便 了 解 l n 的 哪 边 表 现 不好

需要 改 进 或 是 哪 边 表 现 得 很好 然后 可以 继 续 保 持 那 右 方 这个 就是 cl n 的 一个 简 单 的 架 构 然后 我们 在 cl n 之 上 产 生 了 第二 版 的 pr ont 我们 将 清 单 式 的 列 举 改 为 推 理 步 骤 我们 将 审 计 员 审 计 时 的 思 考 方 式 整 理 成 些 许 步 骤 交 给 l n 那 在 这个 漏 洞 中 呢 我们 第一 步 就 希望 l n 找 到 一个 包 含 这个 t oken sw ap 的 函 数 那 找 到 之 后 l n 则 需要 将 这 些 函 数 里 用 于 指 定 的 最 小 接 收 数 量 的 参 数 给 标 记 出来 第三 步 呢 则 是 针

对 这 些 标 记 出来 的 参 数 进 行 评 估 看 是 否 被 正 确 的 使 用 到 这 一 步 则 希望 l n 针 对 找 到 的 漏 洞 进 行 再 次 的 确 认 那 右 方 呢 就是 我们 第二 版 pr ont 的 架 构 在 漏 洞 描 述 之 后 我们 加 上 的 左 方 的 这个 思 考 流 程 将 c ot 开 用 到 pr ont 之 后 可以 看到 pre cision 有 稍 微 的 提 升 表示 l n 的 这个 看到 黑 影 就 开 枪 的 情况 有 稍 微 减 轻 了 一点 那 除 此 之 外 因为 l n 会 输 出 它 看到 合 约 后 思 考 流 程 我们 对 于 如何 优 化 pr ont 也 有 更 明 确 的

方 向 但 显 然 这样 的 表 现 还 不 够 好 我们 发 现 有 时 l n 不会 按 照 我们 给 定 的 步 骤 去 依 序 执 行 有 时候 会 跳 过 某 些 步 骤 或 是 把 几 个 步 骤 合 并 起 来 或 是 错 误 理 解 步 骤 甚 至 l n 会 不管 这 些 步 骤 就 按 照 自己 想 要 的 去 做 输 出 那 我们 就 想 说 如果 只 给 推 理 步 骤 还 不 够 的话 是不是 能 给 l n 几 个 实 际 的 一些 思 考 翻 例 呢 那 之 后 带 到 下 一个 pr ont 已经 令 人 的 技 巧 叫 做 f ue chart 通 过 在 pr ont 中 加入 一些 些 许 范 例 每 个 范

例 里 都 会 包 含 输 入 以及 期 望 的 输 出 然后 来 帮 助 l n 理 解 这个 任 务 的 格 式 以及 逻 辑 进 来 推 论 出 新 的 情况 该 怎么 处 理 那 一 般 来 说 我们 只 需要 提 供 2 到 5 个 范 例 效 果 就 会 不 错 这样 的 方 式 比 起 单 纯 给 定 思 考 步 骤 还 要 更 精 确 也 比 我们 的 f unt ube 还 要 来 的 轻 量 在 我们 pr ont 中 加入 f ue chart 之 后 产 生 了 我们 目前 采 用 的 pr ont 的 版 本 可以 看到 左 方 我们 在 漏 洞 描 述 之 后 加 上 cot 之 后 加 上 了 一些 范 例 然后 呢 其 中 每 个

范 例 的 输 入 是 包 含 t oken sw ap 的 函 数 的 程 式 码 期 望 输 出 则 是 针 对 该 程 式 码 的 cot 的 思 考 流 程 那 我们 在 f ue chart 当 中 一 共 放 入 了 三 个 包 含 漏 洞 的 范 例 以及 两 个 不 包 含 漏 洞 的 范 例 那 当 前 版 本 的 pr ont 有 效 提 升 了 al ign 的 表 现 可以 看到 A z ure C 来 到 0. 79 左右 那 pre cision 呢 也 有 显 著 的 提 升 fal se posi tive 从 第一 版 的 29 格 降 低 到了 7 格 但 同 时 也 带 动 了 fal se nega tive 的 s her ry 上 升 从 整 体 的 表 现 上

来 看 cot 加 上 的 f ue chart 让 al ign 具 备 了 一定 审 计 s leep gy m ium mount 的 审 计 能 力 那 且 能 根 据 我们 给 定 的 任 务 和 步 骤 去 做 分 析 目前 的

判 断 方 式 仍 较 为 粗 略 那 我们 未 来 希望 能 够 设 计 出 更 严 谨 更 客 观 的 bench mark 来 验 证 pr ont 的 实 际 效 能 第二 步 呢 是 扩 充 dat as et 的 资 料 量 有 了 更 多 标 记 过 合 约 样 本 我们 才 能 更 深 入 分 析 模 型 的 表 现 那 并 针 对 不同 的 漏 洞 与 情 境 去 做 更 精 确 的 pr ont 的 调 整 第三 呢 我们 会 持 续 测 试 不同 的 pr ont engi neer ing 技 巧 并 将 实 验 成 果 与 社 群 分享 促 进 整 体 技 术 的 进 步 最 后 呢 我们 未 来 会 将 B uster 应 用 到 更 多 更 多 样

的 攻 击 项 量 上 持 续 探 索 尚 未 被 覆 盖 的 风 险 场 景 并 同 时 推 动 知 识 共 享 以 社 群 为 触 发 点 帮 助 更 多 开 发 者 理 解 以及 防 范 合 约 的 漏 洞 那 随 着 这 些 未 来 计 划 的 推 进 我们 也 回 头 思 考 为什么 会 选 择 用 L M 来 强 化 合 约 安全 而 接 下 来 我们 又 学 到 什么 那 接 下 来 呢 我们 会 整 理 我们 今天 几 个 关 键 的 take away 那 最 开始 我们 提 到 说 静 态 分 析 工 具 啊 因为 其 raw - based 的 方 式 而 受 到 一定 的 局 限 而 L M 则 带 来 弹 性 跨 语

言 以及 语 意 理 解 能 力 能 更 好 处 理 复 杂 多 变 的 程 式 码 而 为 了 将 L M 从 理 解 程 式 码 的 角 色 变 成 专 业 的 审 计 员 我们 需要 执 行 L M 用 审 计 员 的 角 度 和 思 维 去 做 思 考 那 这 种 执 行 的 方 式 就是 P rom per Engi neer ing 而 第二 部 提 到 的 M ath ology 也可以 看到 说 P rom per Engi neer ing 需要 反 复 的 实 验 以及 修 正 然后 并 采 用 不同 的 技 巧 让 L M 表 现 更 符 合 我们 的 预 期 那 随 着 AI 的 进 步 会 让 P rom per Engi neer ing 的 使 用 能 力 更 低 那 让 AI

成 为 更 强 大的 这个 审 计 助 手 先 前 分享 的 实 验 流 程 D ata S ign 以及 相 关 的 程 式 码 都 可以 在 右 下 角 Q R Code 中 找 到 里 面 是 我们 B uster 的 G it Hub Rep o 那 不 论 你 来 自 区 块 链 或 是 AI 领 域 都 可以 为 区 块 链 的 资 安 位 来 出 一 份 力 我们 相信 一个 更 安全 的 We b 3 需要 大家 一起 来 打 造 那 最 后 的 左 方 一 样 是 我们 的 B uster 的 G it Hub Rep o 右 方 是 有 De Fi Hel ios 的 相 关 连 接 我想 问

就是 就 不管 是 哪 一 种 L M 其实 它 都 会 有 一定 程 度 上 就是 其实 每 次 虽 然 是 下 一 样 的 P rom pt 可是 它 可能 会 有一 点 就是 Pro b abil ity 的 问题 这样 就是 它 可能 回 答 的 东 西 会 有 点 不 太 一 样 那 就是 满 好 奇 就是 在 这个 方面 它 这个 De vi ation 是 会 不会 影 响 说 就是 你在 扫 这个 C ode 的 这个 最 终 的 品 质 可能 譬 如 说 小 生 这 次 是 有 侦 测 到 某 一个 特 点 的 漏 洞 但 可能 下次 就 没有 然后 会 不会 有一 种 疑 虑 就是 它 可能 有 一定 的 几 率 是 有 些 东 西 是 有 机 会 少 到 但是 你要 多 试 几

次 这样 子 对 这 种 情况 的 确 发 生 我们 发 现 说 其实 同 一 版 的 P rom pt 我们 经 过 多 次 测 试 我们 最 后 的 表 现 它的 Acc ur acy 也 都有 些 许 的 落 差 那 这 会 是 我们 未 来 这个 专 案 的 改 进 方 向 我们 可以 尝 试 用 更 多 的 不同 的 技 巧 或 是 用 外 部 的 资 讯 来 弥 补 这个 这 方面 的 缺 失 我的 第二 个 问题 是 比 较 偏 向 是 譬 如 说 不知道 这样 的 想 法 会 不会 增 进 就是 这个 扫 漏 洞 的 这个 强 度 就是 说 for exam ple 就是 我们 可以 用 Cloud Code 去 执 行 Ty pe Script 的 L inter 这样 然后 Cloud Code 会 针 对 这个

L inter 的 out put 结 果 去 做 一些 语 法 上 的 改 善 那 我们 同 样 也可以 请 Cloud Code 不要 用 L inter 用 它 自己 内 建 的 语 法 去 检 查 说 这个 Ty pe Script 的 一些 结 构 这样 子 那 很 明 显 就是 请 它 执 行 完 L inter 之 后 再 根 据 这个 结 果 去 做 改 善 这个 效 果 是 会 比 较 好的 所以 蛮 好 奇 说 在 扫 漏 洞 这个 方面 会 不会 可能 也 许 未 来 可以 进 化 成 就是 请 这个 G P T 4 O 然后 去 执 行 相 关 这个 E V M 运 作 的 就是 R unt ime 的 一些 检 查 的 一些 T our 然后 再 请 这个 F ore O 去 根 据 这个 T our

的 结 果 再 去 提 供 更 深 入 的 比如 说 它 可能 会 St ack Over flow 之 类 的 有 的 一些 漏 洞 的 原因 这样 子 对 这 部分 我觉得 是 可以 的 就是 可能 我们 需要 在 改 N B AN 内 部 的 逻 辑 以及 整 个 流 程 可能 需要 重 新 设 计 我 蛮 好 奇 你们 因为 我觉得 刚 刚 的 数 据 它的 F al se Nega tive 蛮 少 的 然后 我觉得 这样 还 不 错 因为 反 正 其实 只 怕 F al se Nega tive 因为 F al se 就是 至 少 比 S lic er 好 因为 S lic er 总 会 误

报 很多 东 西 那 刚 刚 我在 想 说 你们 有 没有 一个 I deal 的 U se Case 就是 这个 东 西 比 较 适 合 在 开 发 流 程 里 面 的 哪 里 因为 现在 我 看到 一些 Cloud Code 的 B est Prac tice 他们 可以 把 CC run 在 G ee Action 然后 在 CI 里 面 然后 我觉得 这 种 扫 描 的 T our 跑 在 CI 里 面 感 觉 也 会 蛮 好的 那 你们 自己 想 象 中 它 在 Bo ost 的 De velop er 或 是 Aud itor 的 开 发 流 程 是 在 哪 一 段 这 部分 的话 我们 一 开始 希望 的时候 是 能 够 在 损 计 和 一 位 商 量 有 帮 助 但 有 可能 在 呃 但 有 可能 在 开 发 者 在 实 际 部

署 程 式 码 之前 就 能 够 去 做 检 测 的话 我觉得 这个 会 更 好 了 解 然后 因为 刚 刚 你说 就是 静 态 分 析 S lic er 这 种 是 局 限 全 盘 理 解 但是 实 验 好像 你们 有 测 试 到 比 较 复 杂 的 V ir abil ity 不是 像 这 种 因为 这个 其实 也是 单 一 和 约 单 一 func tion 的 V ir abil ity 那 在 比 较 com plex 的 情 境 里 面 这个 T our 表 现 会 是 怎么样 比 较 全 局 方面 的 漏 洞 的话 我们 可能 目前 还 没有 测 试 到 因为 目前 主 要 主 动 在 收 集 漏 洞 资 料 集 的 部分 我们 会 在 资 料 集 收 集 到 一定 程 度 之 后 才 会 选 出

比 较 合 适 的 漏 洞 来 去 做 这个 测 试 了 解 那 最 后 一个 问题 就是 说 你们 有 没有 研 究 过 相 关 的 pro ject 因为 我知道 最近 很多 尤 其 是 这 三 个 月 到 半 年 很多 做 这 种 相 关 的 研 究 然后 像 我知道 N eed erm ind 有 做 一个 F alted Agent 然后 你们 有 没有 针 对 他们 的 一些 perf orma nce 或 是 其 他 相 关 专 业 的 perf orma nce 去 比 较 一下 目前 部分 我们 有 知道 说 有 另 一个 人 也是 在 做 相 关 的 然后 他的 pr ong 的 技 巧 就是 使 用 别 的 方 法 但 表 现 上 的话 我 目前 还 觉得 就是 我们 采 用 更 多 pr ong 的 技 巧 的 表 现

会 比 较 好 一点 了 解 谢谢 请 问 现 场 还有 问题 吗