Line data Source code
1 : /**
2 : * Copyright (c) 2025 Huawei Technologies Co., Ltd.
3 : * This program is free software, you can redistribute it and/or modify it under the terms and conditions of
4 : * CANN Open Software License Agreement Version 2.0 (the "License").
5 : * Please refer to the License for details. You may not use this file except in compliance with the License.
6 : * THIS SOFTWARE IS PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OF ANY KIND, EITHER EXPRESS OR IMPLIED,
7 : * INCLUDING BUT NOT LIMITED TO NON-INFRINGEMENT, MERCHANTABILITY, OR FITNESS FOR A PARTICULAR PURPOSE.
8 : * See LICENSE in the root of the software repository for the full text of the License.
9 : */
10 :
11 : #include "ccu_jetty_ctx_mgr.h"
12 :
13 : #include "ccu_res_specs.h"
14 : #include "orion_adapter_hccp.h"
15 : #include "resources_not_exist_exception.h"
16 : #include "hccp_tlv_hdc_manager.h"
17 :
18 : namespace Hccl {
19 :
20 : // 对一个数求以2为底的对数，num已保证不为0
21 28 : inline uint16_t Log2OfPowerOfTwo(uint32_t num)
22 : {
23 28 : uint16_t log2 = 0;
24 140 : while (num > 1) {
25 112 : num >>= 1;
26 112 : log2++;
27 : }
28 28 : return log2;
29 : }
30 :
31 : union DoorbellAddr {
32 : uint64_t dbAddr;
33 : uint16_t dbAddr16[4];
34 : };
35 :
36 28 : LocalJettyCtxData BuildJettyCtxData(const uint8_t dieId, const uint32_t pfeId,
37 : const JettyInfo& jettyInfo, const JettyCfg& jettyCfg)
38 : {
39 28 : LocalJettyCtxData data{};
40 :
41 : DoorbellAddr dbAddr;
42 28 : dbAddr.dbAddr = jettyCfg.dbVa;
43 28 : data.doorbellAddr[0] = dbAddr.dbAddr16[0];
44 28 : data.doorbellAddr[1] = dbAddr.dbAddr16[1];
45 28 : data.doorbellAddr[2] = dbAddr.dbAddr16[2]; // 2: doorbell 地址访问
46 28 : data.doorbellAddr[3] = dbAddr.dbAddr16[3]; // 3: doorbell 地址访问
47 :
48 28 : data.pfeIdx = static_cast<uint8_t>(pfeId);
49 28 : data.ioDieId = dieId;
50 :
51 28 : data.doorbellAddrType = DB_ADDR_TYPE;
52 28 : data.tokenValueIsValid = TOKEN_VALUE_IS_VALIDE;
53 :
54 28 : data.tokenIdLow = jettyCfg.dbTokenId & MASK_TK_ID_LOW;
55 28 : data.tokenIdHigh = (jettyCfg.dbTokenId >> SHIFT_8BITS) & MASK_TK_ID_HIGH; // tokenId右移8位
56 :
57 28 : data.tokenValueLow = jettyCfg.dbTokenValue & MASK_TK_VALUE_LOW;
58 28 : data.tokenValueMiddle =
59 28 : (jettyCfg.dbTokenValue >> SHIFT_4BITS) & MASK_TK_VALUE_MID; // tokenValue右移4位
60 28 : data.tokenValueHigh =
61 28 : (jettyCfg.dbTokenValue >> SHIFT_20BITS) & MASK_TK_VALUE_HIGH; // tokenValue右移20位
62 :
63 28 : const uint16_t wqeBBShift = Log2OfPowerOfTwo(jettyInfo.sqDepth * CCU_WQE_NUM_PER_SQE);
64 28 : data.sqeBasicBlockLeftShifts = wqeBBShift;
65 :
66 28 : const uint16_t wqeBBIdx = jettyInfo.wqeBBStartId;
67 28 : data.startWqeBasicBlockIdxLow = wqeBBIdx & MASK_WQEBB_IDX_LOW;
68 28 : data.startWqeBasicBlockIdxHigh = (wqeBBIdx >> SHIFT_4BITS) & MASK_WQEBB_IDX_HIGH; // 右移4位
69 :
70 28 : data.pi = CCU_HARDWARE_DEFAULT_VALUE;
71 28 : data.ci = CCU_HARDWARE_DEFAULT_VALUE;
72 28 : data.maxCi = CCU_HARDWARE_DEFAULT_VALUE;
73 28 : data.oooCqeCnt = CCU_HARDWARE_DEFAULT_VALUE;
74 28 : data.doorbellSendState = CCU_HARDWARE_DEFAULT_VALUE;
75 :
76 28 : return data;
77 : }
78 :
79 28 : void DumpJettyCtxData(const LocalJettyCtxData &tmp)
80 : {
81 84 : HCCL_RUN_INFO("doorbellAddr: [3]0x%04x, [2]0x%04x, [1]0x%04x, [0]0x%04x",
82 : tmp.doorbellAddr[3], // 3: doorbell 地址访问
83 : tmp.doorbellAddr[2], // 2: doorbell 地址访问
84 : tmp.doorbellAddr[1],
85 : tmp.doorbellAddr[0]);
86 :
87 : // 安全问题：禁止打印token相关信息
88 84 : HCCL_RUN_INFO("pfeIdx: 0x%04x, ioDieId: 0x%04x, doorbellAddrType: 0x%04x, "
89 : "tokenValueIsValid: 0x%04x", tmp.pfeIdx, tmp.ioDieId, tmp.doorbellAddrType,
90 : tmp.tokenValueIsValid);
91 :
92 84 : HCCL_RUN_INFO("sqeBasicBlockLeftShifts: 0x%04x, pi: 0x%04x, ci: 0x%04x, "
93 : "maxCi: 0x%04x, oooCqeCnt: 0x%04x, startWqeBasicBlockIdxLow: 0x%04x, "
94 : "startWqeBasicBlockIdxHigh: 0x%04x, doorbellSendState: 0x%04x",
95 : tmp.sqeBasicBlockLeftShifts, tmp.pi, tmp.ci, tmp.maxCi, tmp.oooCqeCnt,
96 : tmp.startWqeBasicBlockIdxLow, tmp.startWqeBasicBlockIdxHigh, tmp.doorbellSendState);
97 28 : }
98 :
99 26 : void ConfigJettyCtxData(const int32_t devLogicId, const uint8_t dieId,
100 : const uint16_t startJettyCtxId, std::vector<LocalJettyCtxData>& jettyCtxData)
101 : {
102 26 : const uint32_t jettyNum = jettyCtxData.size(); // 分配与配置前校验已保证不为0
103 26 : auto tlvHandle = HccpTlvHdcManager::GetInstance().GetTlvHandle(devLogicId);
104 26 : CHECK_NULLPTR(tlvHandle, StringFormat("[CcuJettyCtxMgr][%s] tlvHandle is nullptr, devLogicId[%d]", __func__, devLogicId));
105 :
106 26 : struct CustomChannelInfoIn inBuff;
107 26 : struct CustomChannelInfoOut outBuff;
108 :
109 26 : inBuff.op = CcuOpcodeType::CCU_U_OP_SET_JETTY_CTX;
110 26 : (void)memset_s(inBuff.data.raw, sizeof(inBuff.data.raw), 0, sizeof(inBuff.data.raw));
111 :
112 26 : inBuff.data.dataInfo.udieIdx = dieId;
113 26 : inBuff.data.dataInfo.dataArraySize = jettyNum;
114 :
115 : // 设置数据长度，目前设备管理最多使用5个JettyCtx，需要长度上限为 32 * 5 = 160B
116 26 : inBuff.data.dataInfo.dataLen =
117 26 : sizeof(struct LocalJettyCtxData) * inBuff.data.dataInfo.dataArraySize;
118 26 : inBuff.offsetStartIdx = startJettyCtxId; // 设置起始Jetty上下文ID，注意应从0开始，非TaJettyId
119 :
120 78 : HCCL_INFO("[CcuJettyCtxMgr][%s] iodie[%u], startJettyCtxId[%u], jettyCtxData.size[%u]",
121 : __func__, dieId, startJettyCtxId, jettyNum);
122 :
123 54 : for (size_t i = 0; i < jettyNum; i++) {
124 28 : DumpJettyCtxData(jettyCtxData[i]);
125 :
126 28 : (void)memcpy_s(&inBuff.data.dataInfo.dataArray[i], sizeof(struct LocalJettyCtxData),
127 28 : &jettyCtxData[i], sizeof(struct LocalJettyCtxData));
128 : }
129 :
130 26 : HrtRaTlvRequestForCustomChannel(tlvHandle, MSG_TYPE_CCU_DISPATCH_CMD, static_cast<void *>(&inBuff), static_cast<void *>(&outBuff));
131 26 : }
132 :
133 24 : CcuJettyCtxMgr::CcuJettyCtxMgr(const int32_t devLogicId, const uint8_t dieId, const uint32_t devPhyId)
134 24 : : devLogicId(devLogicId), dieId(dieId), devPhyId(devPhyId), wqeBBMgr(devLogicId, dieId)
135 : {
136 : // 获取失败或为0场景，分配将按资源不足操作
137 24 : (void)CcuResSpecifications::GetInstance(devLogicId).GetJettyNum(dieId, jettySpecNum);
138 24 : (void)CcuResSpecifications::GetInstance(devLogicId).GetResourceAddr(dieId, ccuResBaseVa);
139 24 : if (UNLIKELY(ccuResBaseVa == 0)) { // 直接抛异常终止，避免访问非法地址
140 0 : THROW<ResourcesNotExistException>("[CcuJettyCtxMgr] init failed, ccu resource base addr is 0, "
141 : "devLogicId[%d] dieId[%u].", devLogicId, dieId);
142 : }
143 24 : pfeMgr = CcuPfeMgr(devLogicId, dieId, devPhyId);
144 24 : }
145 :
146 34 : static HcclResult GetSqeBuffVa(const uint64_t ccuResBaseVa, const uint32_t jettyCtxId, uint64_t &sqeBuffVa)
147 : {
148 34 : sqeBuffVa = 0;
149 34 : if (UINT32_MAX / CCU_SQ_BUFFER_SIZE < jettyCtxId) {
150 0 : HCCL_ERROR("[CcuJettyCtxMgr][%s] jetty context id[%u] is greater "
151 : "than expected, CCU_SQ_UBFFER_SIZE[%u], their product will exceed the "
152 : "range of uint32_t.", __func__, jettyCtxId, CCU_SQ_BUFFER_SIZE);
153 0 : return HcclResult::HCCL_E_INTERNAL;
154 : }
155 34 : const uint64_t jettyCtxOffset = static_cast<uint64_t>(jettyCtxId) * CCU_SQ_BUFFER_SIZE;
156 :
157 34 : if (UINT64_MAX - CCU_V1_WQE_BASIC_BLOCK_OFFSET - jettyCtxOffset < ccuResBaseVa) {
158 0 : HCCL_ERROR("[CcuJettyCtxMgr][%s] ccu resource space base va[%llu] "
159 : "is greater than expected, jettyCtxId[%u], the sqe buff va exceed the "
160 : "range of uint64_t.", __func__, ccuResBaseVa, jettyCtxId);
161 0 : return HcclResult::HCCL_E_INTERNAL;
162 : }
163 :
164 : // 内部分配保证jettyCtxId 小于 jettyCtx规格数量，地址不应越界
165 34 : sqeBuffVa = ccuResBaseVa + CCU_V1_WQE_BASIC_BLOCK_OFFSET + jettyCtxOffset;
166 34 : return HcclResult::HCCL_SUCCESS;
167 : }
168 :
169 28 : HcclResult CcuJettyCtxMgr::TryAllocWqeBBResource(const uint32_t sqSize,
170 : const uint32_t jettyCtxStartId, const uint32_t taJettyStartId,
171 : const CcuJettyType jettyType, std::vector<JettyInfo> &jettyInfos)
172 : {
173 28 : const uint32_t jettyNum = jettyInfos.size();
174 28 : if (jettyNum == 0) {
175 0 : HCCL_WARNING("[CcuJettyCtxMgr][%s] failed, jettyInfos size is 0, "
176 : "devLogicId[%d], dieId[%u].", __func__, devLogicId, dieId);
177 0 : return HcclResult::HCCL_E_PARA;
178 : }
179 :
180 62 : for (uint32_t i = 0; i < jettyNum; i++) {
181 34 : ResInfo wqeBBInfo(0, 0);
182 34 : HcclResult ret = wqeBBMgr.Alloc(sqSize, wqeBBInfo);
183 34 : if (ret != HcclResult::HCCL_SUCCESS) {
184 0 : HCCL_WARNING("[CcuJettyCtxMgr][%s] failed to alloc wqe basic block resource, "
185 : "devLogicId[%d], dieId[%u].", __func__, devLogicId, dieId);
186 0 : return ret;
187 : }
188 :
189 34 : auto &jettyInfo = jettyInfos[i];
190 34 : jettyInfo.jettyType = jettyType;
191 34 : jettyInfo.jettyCtxId = static_cast<uint16_t>(jettyCtxStartId + i);
192 34 : jettyInfo.taJettyId = static_cast<uint16_t>(taJettyStartId + i);
193 :
194 34 : const uint32_t wqeBBReqNum = wqeBBInfo.num;
195 34 : jettyInfo.sqDepth = wqeBBReqNum / CCU_WQE_NUM_PER_SQE;
196 34 : jettyInfo.wqeBBStartId = wqeBBInfo.startId;
197 34 : if (jettyType == CcuJettyType::CCUM_CACHED_JETTY) {
198 34 : jettyInfo.sqBufSize = wqeBBReqNum * CCU_ONE_WQE_SIZE;
199 34 : CHK_RET(GetSqeBuffVa(ccuResBaseVa, static_cast<uint32_t>(jettyInfo.jettyCtxId),
200 : jettyInfo.sqBufVa)); // 检查溢出，分配成功的wqeBB资源已经记录
201 : }
202 : }
203 :
204 28 : return HcclResult::HCCL_SUCCESS;
205 : }
206 :
207 2 : HcclResult CcuJettyCtxMgr::ReleaseWqeBBResource(const std::vector<JettyInfo> &jettyInfos)
208 : {
209 6 : for (const auto &jettyInfo : jettyInfos) {
210 4 : if (jettyInfo.sqDepth == 0) {
211 0 : continue; // 该jetty未分配完成，跳过wqeBB资源释放
212 : }
213 :
214 4 : uint32_t wqeBBIdx = static_cast<uint32_t>(jettyInfo.wqeBBStartId);
215 : // jettyInfo 为内部数据，分配保证不会溢出
216 4 : uint32_t wqeBBNum = jettyInfo.sqDepth * CCU_WQE_NUM_PER_SQE;
217 4 : const auto resInfo = ResInfo(wqeBBIdx, wqeBBNum);
218 4 : CHK_RET(wqeBBMgr.Release(resInfo));
219 : }
220 2 : return HcclResult::HCCL_SUCCESS;
221 : }
222 :
223 28 : HcclResult CcuJettyCtxMgr::CheckIfJettyCfgsValid(const std::vector<JettyInfo> &jettyInfos,
224 : const std::vector<JettyCfg>& jettyCfgs) const
225 : {
226 28 : const uint32_t jettyNum = jettyInfos.size();
227 28 : const uint32_t jettyCfgNum = jettyCfgs.size();
228 31 : CHK_PRT_RET(jettyCfgNum != jettyNum,
229 : HCCL_ERROR("[CcuJettyCtxMgr][%s] failed, jettyCfgs size[%u] is not expected, "
230 : "which should be equal to jettyInfo size[%u], devLogicId[%d], dieId[%u].",
231 : __func__, jettyCfgNum, jettyNum, devLogicId, dieId),
232 : HcclResult::HCCL_E_PARA);
233 :
234 57 : for (uint32_t i = 0; i < jettyNum; i++) {
235 31 : if (jettyInfos[i].jettyCtxId != jettyCfgs[i].jettyCtxId) {
236 3 : HCCL_ERROR("[CcuJettyCtxMgr][%s] failed, jettyCtxId of jettyInfo[%u] and "
237 : "jettyCfg[%u] are not same, devLogicId[%d], dieId[%u].", __func__,
238 : jettyInfos[i].jettyCtxId, jettyCfgs[i].jettyCtxId, devLogicId, dieId);
239 1 : return HcclResult::HCCL_E_PARA;
240 : }
241 : }
242 26 : return HcclResult::HCCL_SUCCESS;
243 : }
244 :
245 : }; // namespace Hccl
246 :
|
