CiNOR存算一體AI推理芯片

  深度學習作為一個劃時代的技術，在計算機視覺、語音識別與自然語言處理領域得到廣泛的成功應用，相關的產品正如雨后春筍般涌現。在深度學習網絡龐大的數據量和計算量的需求下，各種針對深度學習網絡加速的AI芯片應運而生。但是現有的馮諾依曼架構的AI芯片由于存儲墻依然存在功耗過大的問題。極大的功耗使得現有數字架構的AI芯片部署在邊緣設備，尤其是電池供電的物聯網終端設備存在種種困難。

  主流的馮諾依曼架構中，計算單元和內存單元是兩個完全分離的單元，計算單元根據指令從內存讀取數據，在計算單元完成計算，再存回內存。數據需要在計算單元和存儲單元之間進行頻繁的移動，因此帶來的極大的功耗和極低的運算效率。存算一體架構就是把計算單元與內存單元合二為一，在存儲數據同時完成運算，從而極大地減少了計算過程中數據存取的時間和能耗。

  CiNOR 存算一體架構的AI芯片是通過Flash陣列的模擬計算來高度并行化完成矩陣計算。具體做法是，將權值映射到Flash陣列，然后將輸入轉化為電壓，輸入到Flash陣列進行模擬計算，采集到的輸出電流即為計算結果?；贜OR Flash的存算一體架構做到兩點：第一，Flash單元同時是存儲單元又是計算單元，消除了神經網絡權重的內存移動，極大的降低了功耗，提高了能效比。第二，每個flash相當于一個乘法器，執行矩陣運算時，有幾萬個乘法累加并行進行，大大提高了吞吐量。

  公司較新推出的基于NOR Flash的超低功耗、高性能的用于邊緣計算的AI的芯片，使用較新的存算一體架構，沒有傳統馮諾依曼結構的限制，能夠使用超低功耗完成大規模并行乘法累加計算。該芯片與傳統的CPU，DSP，GPU等馮諾依曼架構的芯片相比，在保證足夠的算力同時，功耗降低百倍，能夠帶來百倍運算效能提升和成本降低。這款存算一體架構的AI芯片具有極低的功耗，強勁的算力，低廉的價格，和極小的面積，使得大型深度學習應用從云端部署至邊緣計算領域帶來無限可能。從此，邊緣設備，尤其是電池供電的物聯網設備無需將數據傳輸至云端，在本地完成計算，使用極低的功耗完成實時AI推理，并且享有數據安全。這款存算一體架構的AI芯片，節省了大量的存儲單元和計算單元，無需采用先進的半導體加工工藝，因此產品成本非常低。恒爍的目標就是使大家能夠以購買一塊Flash的價格就能享受極高的算力。目前，公司的第一版CiNOR存算一體AI推理芯片已經成功流片，并且搭載該芯片現場演示了一個人臉識別的深度學習算法。

  這款CiNOR 存算一體架構的AI芯片聚焦于低延遲、低功耗、高算力需求的邊緣計算領域，特別是使用電池供電的物聯網終端設備領域，如，智能手機、可穿戴設備、智能家居、無人機、智能攝像頭、助聽器等。在即將到來的萬物互聯時代，該芯片將會帶來更多傳統應用的變革和新的應用產品的出現。

  目前的可穿戴設備，由于單片機算力的限制無法實時的通過心電檢測人體的健康狀態，當前的做法是將心電數據傳輸至云端，在云端完成心電檢測然后再傳回本地，這樣計算延遲高，功耗大，嚴重拉低了設備的續航和用戶使用體驗，并且不能使用在無網絡或者復雜的網絡的環境。未來，可穿戴設備的單片機只需掛載一塊NOR Flash大小的恒爍超低功耗AI芯片，就能在本地實時地完成數十種心臟病的推理檢測，無需網絡，無延遲，能夠適用于各種網絡環境，實時的關注人體健康，大大提高了可穿戴設備的續航能力和使用體驗。

  目前的語音識別終端設備由于算力和功耗的限制，只能將語音信息傳輸至云端進行識別，然后反饋至設備，該方法延遲高，功耗大，不能進行實時的語音處理，不能適用于各種復雜的網絡環境。未來搭載恒爍AI芯片的語音識別設備，能夠不依靠互聯網就能完成本地的語音信號的實時推理識別，能夠適用于各種的網絡情況，不用上傳語音信息就能享有數據安全，必然大大提高現在的語音識別設備的使用體驗和續航。

  目前的智能手機終端大多使用NPU協處理器來完成深度學習算法的加速計算，這些NPU協處理器采用傳統的馮諾依曼架構，以IP核的形式嵌入至CPU，極大地增加了芯片的面積和功耗，影響了智能手機的發展。未來這些廠商只需以掛載或者IP集成的方式搭載恒爍的超低功耗AI芯片，就能以極低的功耗享受強勁的算力，極大地提高手機續航和深度學習應用場景，為各種復雜的深度學習應用部署至手機終端帶來無限可能，如人臉識別，AI識物，語言翻譯等。