Marvell Photonic Fabric: Memori AI hingga 32 TB melalui Koneksi Optik

Mengapa Memori Menjadi Tantangan bagi Server AI

Perkembangan kecerdasan buatan meningkatkan kebutuhan terhadap kapasitas komputasi, memori, dan konektivitas. Model bahasa besar, model multimodal, sistem rekomendasi, serta aplikasi analitik AI memproses data dalam jumlah besar, baik selama pelatihan maupun saat melayani banyak permintaan secara bersamaan.

Kinerja server AI tidak hanya ditentukan oleh prosesor atau akselerator. Kapasitas memori menentukan jumlah data yang dapat ditampung, sedangkan bandwidth menentukan jumlah data yang dapat dipindahkan dalam periode tertentu. Latensi menentukan waktu tunggu ketika akselerator meminta data, sementara skalabilitas menentukan kemampuan sistem menambah akselerator, memori, atau node tanpa menciptakan hambatan baru.

Kondisi tersebut mendorong pengembangan interkoneksi baru. Salah satu pendekatan yang mendapat perhatian adalah Marvell Photonic Fabric, platform konektivitas berbasis fotonik yang dirancang untuk menghubungkan komponen komputasi dan memori melalui koneksi optik. Berdasarkan ringkasan sumber, teknologi ini disebut dapat menghadirkan memori AI berkapasitas hingga 32 TB (Sumber 1.

Angka 32 TB perlu dipahami secara hati-hati. Angka tersebut merujuk pada kapasitas memori yang disebut dalam ringkasan informasi, bukan bukti bahwa satu chip atau satu modul individual memiliki kapasitas 32 TB. Kapasitas itu dapat merujuk pada sebuah sistem, susunan beberapa modul, atau konfigurasi tertentu.

Sumber lain menyebut Marvell memperkenalkan modul memori optik untuk server AI (Sumber 3. Namun, ringkasan sumber yang tersedia belum menjelaskan jenis memori, bandwidth, latensi, konsumsi daya, konfigurasi modul, atau jadwal produksi.

Apa Itu Marvell Photonic Fabric?

Marvell Photonic Fabric dapat dipahami sebagai arsitektur interkoneksi yang menggunakan teknologi fotonik untuk menghubungkan komponen dalam sistem komputasi. Dalam server AI, komponen tersebut dapat mencakup akselerator, memori, prosesor pusat, perangkat jaringan, dan node komputasi lainnya.

Koneksi optik membawa data menggunakan cahaya melalui media optik. Sebaliknya, koneksi elektrik membawa sinyal melalui jalur konduktif. Perbedaan ini penting karena kebutuhan perpindahan data di pusat data terus meningkat. Akselerator AI dapat menjalankan operasi dalam jumlah besar, tetapi kinerjanya terhambat apabila data tidak tersedia dengan cepat.

Interkoneksi fotonik ditujukan untuk membantu sistem menangani lalu lintas data berkapasitas tinggi. Teknologi ini tidak hanya berkaitan dengan kapasitas memori, tetapi juga cara memori dihubungkan dengan komponen pemrosesan.

Perannya dalam infrastruktur AI

Server AI modern biasanya menggunakan lebih dari satu akselerator. Setiap akselerator membutuhkan akses ke bobot model, data aktivasi, hasil perhitungan, dan data perantara. Pada pelatihan terdistribusi, beberapa akselerator atau node juga perlu menyinkronkan parameter dan hasil pemrosesan.

Komunikasi dapat berlangsung antara:

Akselerator AI dan memori.
Akselerator dan prosesor pusat.
Server dan perangkat jaringan.
Satu node komputasi dan node lainnya.
Memori dan beberapa perangkat pemrosesan secara bersamaan.

Dalam sistem tersebut, interkoneksi menjadi bagian penting dari desain. Marvell Photonic Fabric berupaya menempatkan interkoneksi fotonik sebagai penghubung untuk kebutuhan itu. Namun, sumber yang tersedia belum menjelaskan standar komunikasi, jenis konektor, rancangan laser, protokol, atau latensi.

Fakta yang tersedia

Dua informasi utama dari sumber adalah:

Marvell Photonic Fabric disebut menghadirkan memori AI berkapasitas hingga 32 TB melalui koneksi optik.
Marvell disebut memperkenalkan modul memori optik untuk server AI.

Informasi tersebut menunjukkan arah teknologi, tetapi belum cukup untuk menilai kinerja produk secara menyeluruh. Penilaian memerlukan dokumentasi resmi, spesifikasi teknis, hasil pengujian, dan informasi ketersediaan komersial.

Memori AI 32 TB dan Dampaknya bagi Server

Kapasitas besar untuk model AI

Kapasitas hingga 32 TB berpotensi membantu server menampung data untuk model AI berukuran besar, termasuk:

Parameter dan bobot model.
Data aktivasi.
Data perantara selama inferensi.
Data perantara selama pelatihan.
Beberapa model yang digunakan secara bersamaan.

Model dengan jumlah parameter besar membutuhkan memori dalam jumlah signifikan. Jika kapasitas tidak mencukupi, sistem harus memindahkan sebagian data ke memori lain atau penyimpanan. Pemindahan tersebut dapat menambah waktu pemrosesan, terutama ketika data perlu diambil berulang kali.

Memori besar juga dapat membantu menjalankan lebih banyak permintaan secara bersamaan. Dalam layanan inferensi, setiap sesi pengguna dapat memerlukan ruang untuk menyimpan konteks, hasil antara, dan data masukan.

Kebutuhan aktual tetap bergantung pada ukuran model, presisi numerik, panjang konteks, ukuran batch, metode kompresi, arsitektur server, dan pola akses data. Kapasitas 32 TB juga tidak berarti seluruh ruang tersebut dapat digunakan langsung oleh satu GPU atau akselerator. Akses aktual bergantung pada rancangan sistem, pengendali memori, fabric, perangkat lunak, dan mekanisme pembagian sumber daya.

Kapasitas berbeda dari bandwidth

Memori besar tidak otomatis membuat server AI lebih cepat. Dua metrik utama perlu dibedakan:

Kapasitas: jumlah data yang dapat disimpan.
Bandwidth: jumlah data yang dapat dipindahkan dalam periode tertentu.

Latensi merupakan faktor ketiga. Latensi menunjukkan waktu sejak komponen meminta data hingga data tersedia. Sistem berkapasitas besar tetapi memiliki bandwidth rendah tetap dapat mengalami hambatan. Sebaliknya, bandwidth tinggi dengan latensi besar juga dapat kurang ideal untuk pola akses tertentu.

Koneksi optik terutama berkaitan dengan komunikasi dan skalabilitas. Koneksi ini dapat membantu menghubungkan memori dengan komponen pemrosesan pada skala yang lebih luas. Namun, peningkatan kapasitas tetap memerlukan modul, pengendali, dan sistem memori yang sesuai.

Dampak terhadap pelatihan dan inferensi

Secara konseptual, kapasitas memori besar dapat:

Mengurangi pemindahan data berulang antara memori dan penyimpanan.
Mendukung model dengan jumlah parameter lebih besar.
Menampung lebih banyak data aktivasi.
Menjalankan beberapa model atau beban kerja secara bersamaan.
Mengurangi kebutuhan membagi model ke terlalu banyak node.

Manfaat tersebut belum dapat dianggap sebagai hasil pengujian Marvell. Sumber yang tersedia tidak mencantumkan peningkatan kecepatan pelatihan, throughput inferensi, pengurangan latensi, atau efisiensi energi. Dampak performa perlu dibuktikan melalui pengujian pada beban kerja AI nyata.

Mengapa Koneksi Optik Penting bagi AI?

Pelatihan AI terdistribusi melibatkan pertukaran data dalam jumlah besar. Akselerator harus menyinkronkan parameter, membagikan hasil perhitungan, dan mengelola data untuk setiap batch. Inferensi skala besar juga menghasilkan lalu lintas tinggi ketika banyak pengguna mengakses model secara bersamaan.

Kemampuan komputasi akselerator tidak cukup apabila jalur komunikasi menjadi hambatan. Akselerator dapat menunggu data sehingga sumber daya komputasi tidak digunakan secara penuh.

Koneksi optik berpotensi memberikan beberapa manfaat di pusat data, antara lain:

Mendukung perpindahan data berkapasitas tinggi.
Menjangkau jarak lebih jauh daripada jalur elektrik pada skenario tertentu.
Mengurangi sebagian keterbatasan jalur elektrik ketika sistem diperbesar.
Mendukung pemisahan antara komputasi dan memori.
Membuka peluang desain sistem yang lebih modular.

Namun, manfaat aktual tidak dapat ditentukan hanya dari penggunaan koneksi optik. Performa bergantung pada pengendali, protokol, topologi, perangkat lunak, kualitas implementasi, dan beban kerja. Ringkasan sumber belum mencantumkan angka resmi mengenai kecepatan, efisiensi energi, atau pengurangan latensi Marvell Photonic Fabric.

Pemisahan komputasi dan memori

Salah satu konsep yang berkaitan dengan interkoneksi berkecepatan tinggi adalah memori terdisagregasi. Dalam pendekatan ini, memori tidak harus ditempatkan langsung di dalam paket atau papan yang sama dengan prosesor.

Memori dapat ditempatkan sebagai sumber daya terhubung yang diakses melalui fabric. Beberapa akselerator atau server dapat menggunakan kapasitas tersebut sesuai kebutuhan, bergantung pada arsitektur sistem dan dukungan perangkat lunak.

Pendekatan ini berpotensi meningkatkan fleksibilitas. Kapasitas memori dapat dialokasikan secara lebih dinamis daripada desain yang mengikat memori secara tetap pada satu akselerator. Namun, implementasi aktual Marvell Photonic Fabric tetap perlu dikonfirmasi melalui dokumentasi produk resmi.

Cara Kerja Konsep Memori Optik

Gambaran konseptual sistem memori optik dapat mencakup:

Akselerator AI.
Modul memori.
Pengendali atau antarmuka memori.
Interkoneksi fotonik.
Fabric komunikasi.
Perangkat lunak pengelola sumber daya.

Daftar tersebut merupakan model penjelasan umum, bukan diagram arsitektur resmi Marvell. Produk nyata dapat menggunakan komponen, topologi, dan mekanisme pengelolaan yang berbeda.

Secara konseptual, alur perpindahan data dapat berlangsung sebagai berikut:

Akselerator meminta data untuk menjalankan operasi AI.
Pengendali menentukan lokasi data pada memori yang terhubung.
Data dikirim melalui interkoneksi optik.
Akselerator memproses data dan dapat menulis hasilnya kembali ke memori.
Sistem mengatur akses agar beberapa akselerator dapat berbagi sumber daya tanpa menimbulkan kemacetan besar.

Kecepatan nyata dipengaruhi oleh pengendali, protokol, topologi, perangkat lunak, dan karakteristik beban kerja. Akses berurutan dalam jumlah besar dapat menghasilkan perilaku berbeda dari akses acak atau akses oleh banyak akselerator secara bersamaan.

Memori lokal biasanya ditempatkan dekat dengan prosesor atau akselerator. Susunan ini dapat memberikan akses cepat, tetapi kapasitasnya dibatasi oleh ruang fisik, desain paket, konsumsi daya, dan biaya.

Memori yang terhubung melalui fabric dapat menyediakan kapasitas tambahan atau sumber daya bersama. Fungsinya tidak otomatis menggantikan seluruh memori lokal. Dalam banyak rancangan, memori lokal tetap digunakan untuk data yang membutuhkan akses sangat cepat, sedangkan memori terhubung menjadi lapisan tambahan.

Manfaat Potensial bagi Pusat Data

Kapasitas hingga 32 TB berpotensi mendukung model bahasa besar, model multimodal, sistem rekomendasi berskala besar, simulasi berbasis AI, dan analitik data dengan kebutuhan memori tinggi.

Jika arsitektur mendukung akses bersama, satu kumpulan memori dapat digunakan oleh beberapa akselerator atau server. Pemisahan antara memori dan komputasi dapat memungkinkan alokasi kapasitas sesuai kebutuhan. Namun, kemungkinan ini bergantung pada desain produk, dukungan sistem operasi, dan perangkat lunak pengelola sumber daya.

Memori eksternal atau memori yang terhubung secara optik juga berpotensi memengaruhi:

Tata letak server.
Skalabilitas rak.
Pengelolaan kabel.
Perencanaan kapasitas pusat data.
Penempatan sumber daya komputasi dan memori.

Dampak fisik, konsumsi daya, kebutuhan pendinginan, dan biaya tetap bergantung pada implementasi produk. Kapasitas besar saja belum cukup untuk menyimpulkan bahwa desain pusat data akan menjadi lebih sederhana atau ekonomis.

Tantangan yang Masih Perlu Diverifikasi

Ringkasan sumber belum menjelaskan:

Jenis memori yang digunakan.
Bandwidth koneksi.
Latensi akses.
Konsumsi daya.
Jumlah modul untuk mencapai 32 TB.
Kompatibilitas dengan akselerator tertentu.
Standar interkoneksi.
Ketersediaan komersial.
Kemampuan peningkatan kapasitas secara bertahap.

Informasi tersebut menentukan apakah solusi dapat digunakan di lingkungan produksi atau masih berada pada tahap pengenalan teknologi.

Kompleksitas perangkat lunak

Memori berkapasitas besar tidak dapat dimanfaatkan secara efisien tanpa dukungan sistem operasi, driver, runtime AI, pengelola memori, perangkat lunak orkestrasi, dan sistem penjadwalan beban kerja.

Perangkat lunak harus mengetahui lokasi data, menentukan waktu pemindahan data, dan menghindari perpindahan yang tidak perlu. Jika pengelolaan memori terdisagregasi tidak efisien, kapasitas tambahan dapat memberikan manfaat terbatas.

Latensi dan konsistensi data

Memori yang terhubung melalui fabric berpotensi memiliki latensi berbeda dari memori lokal. Beberapa akselerator juga dapat bersaing untuk mengakses data yang sama. Tantangannya mencakup:

Latensi tambahan.
Persaingan akses antarakselerator.
Konsistensi data.
Kemacetan pada fabric.
Pengaturan prioritas akses.

Benchmark pada beban kerja AI nyata penting dilakukan. Pengujian perlu mencakup pelatihan, inferensi, akses data berurutan, akses acak, dan penggunaan banyak akselerator.

Biaya dan kesiapan ekosistem

Adopsi interkoneksi fotonik dapat menghadapi tantangan berupa biaya perangkat fotonik, integrasi dengan server yang sudah tersedia, ketersediaan komponen, kebutuhan teknisi khusus, infrastruktur pusat data baru, dan dukungan penyedia perangkat lunak.

Sumber yang digunakan tidak mencantumkan estimasi harga. Karena itu, belum dapat disimpulkan apakah solusi ini lebih ekonomis daripada pendekatan memori konvensional.

Cara Menilai Klaim Memori AI 32 TB

Sebelum mengadopsi solusi tersebut, beberapa pertanyaan teknis perlu dijawab:

Apakah 32 TB merupakan kapasitas per modul, per sistem, atau konfigurasi gabungan?
Berapa bandwidth efektif yang tersedia untuk setiap akselerator?
Berapa latensinya dibandingkan dengan memori lokal?
Berapa banyak akselerator yang dapat mengakses memori secara bersamaan?
Apakah solusi tersebut kompatibel dengan server AI yang sudah digunakan?
Apakah kapasitas dapat ditingkatkan secara bertahap?
Bagaimana sistem menjaga konsistensi data?
Bagaimana perangkat lunak mengelola pembagian memori?

Data benchmark yang perlu dicari mencakup performa pelatihan, performa inferensi, throughput per akselerator, efisiensi energi, pemakaian bandwidth, skalabilitas saat jumlah akselerator bertambah, performa pada berbagai pola akses data, dan performa ketika banyak pengguna aktif secara bersamaan.

Kesimpulan

Marvell Photonic Fabric disebut menghadirkan memori AI hingga 32 TB melalui koneksi optik. Pendekatan ini menempatkan interkoneksi fotonik sebagai elemen untuk menghubungkan memori dan komponen komputasi dalam server AI.

Nilai potensialnya mencakup perluasan kapasitas memori, dukungan terhadap perpindahan data, serta peluang membangun server yang lebih modular. Memori terhubung juga dapat membantu sistem menangani model AI berukuran besar dan membagi sumber daya secara lebih fleksibel.

Namun, kapasitas 32 TB belum cukup untuk membuktikan keunggulan sistem. Bandwidth, latensi, konsumsi daya, konfigurasi modul, kompatibilitas akselerator, hasil benchmark, harga, dan ketersediaan komersial masih perlu dikonfirmasi.

Interkoneksi fotonik berpotensi menjadi bagian penting dari infrastruktur AI berskala besar. Adopsinya bergantung pada validasi teknis, kesiapan perangkat lunak, integrasi dengan server yang ada, serta kematangan ekosistem.

FAQ

Apa itu Marvell Photonic Fabric?

Marvell Photonic Fabric adalah pendekatan interkoneksi berbasis fotonik untuk menghubungkan komponen komputasi dan memori dalam sistem AI. Teknologi ini menggunakan koneksi optik untuk mendukung perpindahan data berkapasitas tinggi.

Apakah Marvell Photonic Fabric menyediakan memori AI sebesar 32 TB?

Berdasarkan ringkasan sumber, Marvell Photonic Fabric disebut menghadirkan memori AI hingga 32 TB. Sumber yang tersedia belum menjelaskan apakah kapasitas tersebut berlaku untuk satu modul, satu sistem, atau konfigurasi gabungan.

Apa manfaat koneksi optik untuk server AI?

Koneksi optik berpotensi mendukung bandwidth tinggi, komunikasi antarkomponen pada jarak lebih jauh, dan desain sistem yang lebih mudah diskalakan. Performa aktual tetap bergantung pada arsitektur, protokol, pengendali, perangkat lunak, dan beban kerja.

Apakah memori 32 TB otomatis membuat server AI lebih cepat?

Tidak. Kapasitas memori menunjukkan jumlah data yang dapat ditampung. Kecepatan dipengaruhi oleh bandwidth, latensi, akselerator, pola akses data, dan efisiensi perangkat lunak.

Apakah memori optik menggantikan memori lokal pada GPU?

Belum tentu. Memori yang terhubung melalui fabric dapat berfungsi sebagai kapasitas tambahan atau sumber daya bersama. Memori lokal tetap diperlukan untuk data yang membutuhkan akses sangat cepat.

Informasi apa yang perlu ditunggu sebelum teknologi ini diadopsi?

Informasi penting mencakup bandwidth, latensi, konsumsi daya, konfigurasi kapasitas 32 TB, kompatibilitas akselerator, hasil benchmark, harga, dukungan perangkat lunak, dan ketersediaan komersial.