Sediksi – Amazon Web Services (AWS) baru-baru ini meluncurkan chip AI Trainium2 dan Graviton4. AWS merupakan salah satu penyedia layanan cloud computing terbesar di dunia. AWS tidak hanya menyediakan infrastruktur dan platform untuk berbagai aplikasi, tetapi juga mengembangkan teknologi-teknologi canggih di bidang kecerdasan buatan (AI).
Pada konferensi tahunan AWS re:Invent yang digelar pada November 2023, AWS mengumumkan dua chip AI baru yang ditujukan untuk membangun dan menjalankan model AI. Apa itu chip AI Trainium2 dan Graviton4? Bagaimana cara kerja chip AI Trainium2 dan Graviton4?
Untuk menjawab pertanyaan tersebut, simak penjelasan mengenai chip AI Trainium2 dan Graviton4 berikut ini yang dikutip dari berbagai sumber.
Teknologi chip AI Trainium2 dan Graviton4
Chip AI Trainium2 dan Graviton4 adalah chip khusus yang dirancang oleh AWS untuk meningkatkan performa dan efisiensi energi dalam proses pelatihan dan inferensi model AI. Pelatihan model AI adalah proses untuk mengajarkan model AI untuk mengenali pola, hubungan, dan makna dari data yang diberikan.
Inferensi model AI adalah proses untuk menjalankan model AI yang sudah dilatih untuk menghasilkan prediksi, rekomendasi, atau tindakan berdasarkan data baru. Chip AI Trainium2 dan Graviton4 merupakan generasi kedua dari chip AI sebelumnya yang dikeluarkan oleh AWS, yaitu Trainium dan Graviton2.
Chip AI Trainium2
Chip AI Trainium2 adalah chip yang dikhususkan untuk pelatihan model AI, terutama model AI yang berskala besar seperti large language models (LLMs) dan foundation models. LLMs dan foundation models adalah model AI yang mampu menghasilkan teks, kode, gambar, atau suara secara otomatis dengan menggunakan jutaan atau milyaran parameter.
Chip AI Graviton4
Chip AI Graviton4 adalah chip yang ditujukan untuk inferensi model AI yaitu menjalankan model AI yang sudah dilatih. Chip AI Graviton4 adalah chip mikroprosesor umum yang dapat digunakan untuk berbagai jenis aplikasi, tidak hanya AI. Chip AI Graviton4 merupakan chip yang dibuat dengan menggunakan arsitektur ARM yang merupakan arsitektur yang banyak digunakan di perangkat mobile seperti hp dan tablet.
Chip AI Graviton4 diklaim dapat memberikan performa yang lebih baik, inti yang lebih banyak, dan bandwidth memori yang lebih besar daripada chip mikroprosesor sebelumnya, yaitu Graviton2.
Cara kerja chip AI Trainium2 dan Graviton4
Chip AI Trainium2 dan Graviton4 bekerja dengan cara yang berbeda sesuai dengan fungsinya masing-masing.
Cara kerja Chip AI Trainium2Â
Chip AI Trainium2 bekerja dengan cara mengoptimalkan operasi-operasi matematika yang dibutuhkan untuk pelatihan model AI, seperti perkalian matriks, penjumlahan vektor, dan fungsi aktivasi.
Chip AI Trainium2 juga dilengkapi dengan memori yang besar untuk menyimpan parameter-parameter model AI yang berskala besar. Chip AI Trainium2 dapat digunakan secara bersamaan dalam jumlah yang banyak untuk mempercepat proses pelatihan model AI.
AWS menyediakan layanan cloud computing yang menggunakan chip AI Trainium2 yaitu EC2 Trn2 instances dan EC2 UltraCluster. EC2 Trn2 instances adalah layanan yang menyediakan 16 chip AI Trainium2 yang dapat digunakan secara bersamaan.
EC2 UltraCluster adalah layanan yang menyediakan hingga 100.000 chip AI Trainium2 yang dapat digunakan secara bersamaan. Dengan menggunakan EC2 UltraCluster, pelanggan AWS dapat melatih model AI dengan 300 miliar parameter dalam waktu beberapa minggu, bukan beberapa bulan.
Cara kerja chip AI Graviton4Â
Chip AI Graviton4 bekerja dengan cara meningkatkan performa dan efisiensi energi dalam menjalankan model AI yang sudah dilatih. Chip AI Graviton4 memiliki inti yang lebih banyak, yaitu 128 inti, dibandingkan dengan chip mikroprosesor sebelumnya yaitu Graviton2, yang hanya memiliki 64 inti.
Dengan memiliki inti yang lebih banyak, chip AI Graviton4 dapat menjalankan lebih banyak operasi komputasi dalam waktu yang sama, sehingga meningkatkan performa. Chip AI Graviton4 juga memiliki bandwidth memori yang lebih besar, yaitu 512 GB/s, dibandingkan dengan chip mikroprosesor sebelumnya, yaitu Graviton2, yang hanya memiliki 300 GB/s.
Jika memiliki bandwidth memori yang lebih besar, chip AI Graviton4 dapat mengakses data yang dibutuhkan untuk inferensi model AI dengan lebih cepat, sehingga meningkatkan performa. Chip AI Graviton4 juga menggunakan arsitektur ARM yang merupakan arsitektur yang lebih hemat energi daripada arsitektur x86 yang banyak digunakan di chip mikroprosesor lainnya.
Dengan menggunakan arsitektur ARM, chip AI Graviton4 dapat menjalankan model AI dengan efisiensi energi yang lebih baik, sehingga menghemat biaya. AWS menyediakan layanan cloud computing yang menggunakan chip AI Graviton4, yaitu EC2 G4 instances.
Chip AI Trainium2 dan Graviton4 adalah inovasi terbaru dari AWS di bidang kecerdasan buatan. Chip AI Trainium2 dan Graviton4 dirancang untuk meningkatkan performa dan efisiensi energi dalam proses pelatihan dan inferensi model AI.
Chip AI Trainium2 dan Graviton4 dapat digunakan oleh pelanggan AWS melalui layanan cloud computing yang disediakan oleh AWS yaitu EC2 Trn2 instances, EC2 UltraCluster, dan EC2 G4 instances.
Dengan menggunakan chip AI Trainium2 dan Graviton4, kamu sebagai pelanggan AWS dapat membangun dan menjalankan model AI yang berskala besar dengan lebih cepat, lebih murah, dan lebih hemat energi.
