H100 白皮书概览 H100基于NVIDIAHopperGPU架构构建,将加速云数据中心、服务器、边缘系统和工作站中的AI训练和推理、HPC以及数据分析应用。 2024-08-14 GPU #GPU #CUDA #Arch #H100
机密计算: HCC 细节 Hopper 100 是NVIDIA推出的具备机密计算功能的GPGPU,支持单卡的CC模式和多卡基于NVLINK互联的CC模式。 2024-08-09 Security #TEE #Confidential Compute #GPU #Security
机密计算: Arm CCA 介绍 Arm 机密计算架构 (Arm CCA) 如何在 Arm 计算平台中实现机密计算。 2024-08-05 Security #TEE #Confidential Compute #Security
Analysis Llama.cpp This blog is about the code structure analysis of llama.cpp project. 2024-08-04 AI #GPU #AI #LLM #LLAMA
CUDA L2 持久缓存 从 CUDA 11.0 开始,计算能力 8.0 及以上的设备能够影响 L2 缓存中数据的持久性。由于 L2 缓存位于片上,因此它有可能为全局内存提供更高的带宽和更低的延迟访问。 2024-08-01 GPU #GPU #CUDA #Cache
机密计算: 大模型安全解决方案 随着大模型技术的高速发展,大模型在各个领域的应用日益广泛,从科研到商业,再到日常生活、办公等方方面面。 2024-07-29 Security #TEE #Confidential Compute #Security #LLM
机密计算: 大模型安全 OpenAI 的 GPT 系列大语言模型的兴起与应用,也带来了诸如数据泄露、数据滥用、模型被攻击和知识产权被窃取等一系列隐私和安全风险或挑战。 2024-07-29 Security #TEE #Confidential Compute #Security #LLM
龙蜥社区: 云原生机密计算最佳实践 龙蜥社区(OpenAnolis)成立于2020年9月,由阿里云、ARM、统信软件、龙芯、飞腾、中科方德、Intel等24家国内外头部企业共同成立龙蜥社区理事会,到目前有超过300家合作伙伴参与共建,是是国内领先的开源社区之一。 2024-07-29 Security #TEE #Confidential Compute #Security #OS
Llama Local Deployment Chinese-LLaMA-Alpaca 是基于 Meta 发布的可商用大模型 Llama 开发,llama.cpp 是一个 C++ 语言部署 Llama 的框架。 2024-07-23 AI #GPU #AI #LLM #LLAMA
机密计算联盟 CCC Confidential Computing Consortium (CCC). 2024-07-18 Security #Confidential Compute #Security
机密计算: AMD SEV-SNP 白皮书 AMD SEV-SNP:通过完整性保护等增强虚拟机隔离 2024-07-18 Security #TEE #Confidential Compute #Security
机密计算: 大模型可信赖研究报告 大模型快速部署和广泛应用的同时,也诱发了更多的风险隐患 2024-07-18 Security #TEE #Confidential Compute #Security #LLM