标签导航：

如何使用 github actions 和 javascript 自动创建和删除 kafka 主题

对于采用事件驱动架构的开发者而言，自动化 Kafka 主题的创建和删除至关重要。无论是管理不断扩展的系统，还是实施基础设施即代码，随着 Kafka 部署规模的增长，手动管理主题将变得难以为继。本教程将指导您如何运用 JavaScript 和 GitHub Actions 自动化 Kafka 主题的创建和删除流程，将其无缝融入 DevOps 工作流。

Kafka 主题管理的挑战

主题是 Kafka 事件组织的基础。随着架构的演进，您需要创建不同的主题来：

  • 组织不同类型的事件
  • 存储事件的过滤版本
  • 维护事件的转换版本

随着系统规模的扩大，手动管理这些主题将变得日益复杂且容易出错。每个新服务可能都需要新的主题，而每个环境（开发、测试、生产）都需要各自一套配置一致的主题。缺乏自动化的情况下，这种手动操作会降低开发效率并引入配置错误。

自动化主题管理的优势

自动化 Kafka 主题的创建和删除具有诸多优势：

  1. 确保跨环境的主题配置一致性
  2. 减少人为错误
  3. 支持主题配置的版本控制
  4. 简化 DevOps 工作流程
  5. 将主题变更纳入 CI/CD 管道

选择合适的自动化工具

本教程采用 JavaScript 来构建自动化解决方案。尽管您可以选择多种编程语言，但 JavaScript 在此任务中具备以下优势：

  • 简化脚本编写（相较于 Bash）
  • 利用团队现有的 JavaScript 专业知识
  • 通过 npm 提供丰富的包生态系统
  • 提供简洁的异步/等待语法来处理 Kafka 操作

我们将此解决方案实现为一个 Kubernetes 作业运行的 Node.js 应用程序，非常适合使用 VPC 访问 Kafka 集群的团队。

应用程序设置

在终端中打开目标目录，然后运行命令 npm init -y。使用命令 npm install kafkajs 安装 Kafka JavaScript 客户端作为依赖项。

解决方案实施

我们的自动化方法包含三个主要部分：

  1. 一个 JSON 配置文件，声明要创建或删除的主题
  2. 与 Kafka 交互以执行这些操作的 Node.js 应用程序
  3. GitHub Actions 工作流程，在 JSON 配置文件发生更改时触发自动化

让我们逐步构建每个组件。

配置文件设置

应用程序将通过 JSON 文件读取要创建或删除的主题列表。这种方法允许任何人修改 GitHub 仓库中的 JSON 文件并创建 PR。一旦 PR 合并到主分支，代码将读取该文件中的数据，然后根据需要创建或删除主题。

创建一个名为 topics.json 的文件，内容如下：

{
  "create": [],
  "delete": []
}

此结构提供了主题管理操作的清晰、版本控制的记录。create 数组包含要创建的主题，delete 数组指定要删除的主题。

构建主题管理 API

创建一个名为 api.js 的文件，包含以下代码：

async function createtopics(topics, kafkaadmin) {
  if (topics.length > 0) {
    await kafkaadmin.createtopics({
      topics: topics.map((topic) => ({
        topic,
        numpartitions: 1,        // 根据吞吐量需求调整
        replicationfactor: 3,    // 通常与 Broker 数量匹配
        configentries: [
          { name: "min.insync.replicas", value: "2" }  // 确保写入持久性
        ],
      })),
    });
  }
}

async function deletetopics(topics, kafkaadmin) {
  if (topics.length > 0) {
    await kafkaadmin.deletetopics({ topics: topics });
  }
}

module.exports = { createtopics, deletetopics };

该模块导出用于创建和删除 Kafka 主题的函数。此处显示的配置值仅为示例 - 您应根据吞吐量、持久性和集群大小的具体要求进行调整。

创建主应用程序

创建一个名为 index.js 的文件，包含以下代码：

const { kafka } = require("kafkajs");
const { createtopics, deletetopics } = require("./api");
const topics = require("../topics.json");

// ... (连接Kafka的代码，此处省略，与原文一致) ...

admin.connect().then(async () => {
  const existingtopics = await admin.listtopics();

  // 只创建尚不存在的主题
  const newtopics = topics.create.filter((x) => !existingtopics.includes(x));
  await createtopics(newtopics, admin);

  // 只删除当前存在的主题
  const deletiontopics = topics.delete.filter((x) =>
    existingtopics.includes(x)
  );
  await deletetopics(deletiontopics, admin);

  await admin.disconnect();
});

此主应用程序处理与 Kafka 的连接，读取主题配置，并协调主题的创建和删除。它包含安全检查以避免重复操作并确保连接管理的整洁性。(此处省略了与Kafka连接的代码，因为与原文一致，避免重复)

使用 GitHub Actions 自动化部署

主题管理应用程序准备就绪后，让我们将其集成到持续部署管道中。每当主题配置发生变化时，我们将使用 GitHub Actions 自动运行主题管理代码。(此处省略了GitHub Actions的YAML配置，因为原文中该部分代码不完整且难以理解，建议参考完整的GitHub Actions配置文档)

结论

您已经学习了如何使用 JavaScript 自动创建和删除 Kafka 主题。这种利用 JSON 配置文件和 GitHub Actions 的自动化方法提供了一种可扩展的方式来管理 Kafka 主题，以适应系统规模的增长。通过将主题管理集成到 CI/CD 管道中，您可以确保整个 Kafka 部署中的主题配置的一致性和可靠性。

本解决方案展示了如何将手动主题管理转变为一个简化、自动化的流程，非常适合现代 DevOps 实践。提供的代码是一个基础，您可以根据自己的特定需求进行构建和定制。

需要 DevOps 专业知识或指导？请联系我，我很乐意为您的团队提供支持。 访问 devopsforjavascript.dev 了解更多信息

请注意，原文中提供的GitHub Actions配置不完整，无法直接使用。 您需要根据您的具体环境和需求完善该配置。 建议参考GitHub Actions官方文档，学习如何配置AWS凭证、连接到ECR和Kubernetes集群等。