મૂનશોટ એઆઈ એ કિમી કે3 ઓપન-સોર્સ એઆઈ મોડેલ લોન્ચ કર્યું

#GS-3 #સાયન્સ અને ટેકનોલોજી #એઆઈ (કૃત્રિમ બુદ્ધિમત્તા) #વર્તમાન બનાવો #આંતરરાષ્ટ્રીય

શા માટે ચર્ચામાં છે?

ચીનની એઆઈ સ્ટાર્ટઅપ કંપની Moonshot AI એ Kimi K3 નામનું નવું એઆઈ મોડેલ લોન્ચ કર્યું છે. તે 3-ટ્રિલિયન પેરામીટર કેટેગરીમાં દુનિયાનું સૌથી પહેલું ઓપન સોર્સ મોડેલ છે.

Kimi K3 એ મલ્ટીમોડલ અને ઓપન-વેઇટ ક્ષમતા ધરાવતું મોટું લેંગ્વેજ મોડેલ છે. તે અટપટા સોફ્ટવેર એન્જિનિયરિંગ, કોડિંગ, વિઝ્યુઅલ ગણતરીઓ અને બિઝનેસના કામો માટે તૈયાર કરાયું છે.
આ મોડેલમાં કુલ 8 ટ્રિલિયન પેરામીટર્સ છે, જે અત્યાર સુધી જાહેર થયેલું દુનિયાનું સૌથી મોટું ઓપન સોસ એઆઈ મોડેલ છે.
બેઇજિંગ સ્થિત Moonshot AI કંપનીએ તેને બનાવ્યું છે. આ સ્ટાર્ટઅપને Alibaba, Tencent અને Meituan જેવી મોટી ટેક કંપનીઓનો ટેકો મળ્યો છે.

આમાં Sparse Latent Mixture-of-Experts (MoE) ટેકનોલોજી વાપરવામાં આવી છે. તેમાં કુલ 896 એક્સપર્ટ્સ છે, પણ જરૂર મુજબ એક સમયે માત્ર 16 એક્સપર્ટ્સ જ સક્રિય થાય છે જેથી કોમ્પ્યુટર પ્રોસેસિંગની સ્પીડ જળવાઈ રહે.
તેમાં Kimi Delta Attention (KDA) નામની ખાસ ડિઝાઇન અપનાવાઈ છે. આનાથી મોટો ડેટા એકસાથે પ્રોસેસ કરતી વખતે પણ સ્પીડ કે ક્ષમતા ઘટતી નથી.
આ મોડેલમાં Attention Residuals (AttnRes) નો ઉપયોગ થયો છે. તે લાંબા કોડિંગ અને જટિલ ગણતરીઓ કરતી વખતે ડેટાને નેટવર્કના જુદા જુદા સ્તરોમાં સરસ રીતે ટ્રાન્સફર કરે છે.

આ મોડેલ એક સાથે 1 મિલિયન ટોકન યાદ રાખી શકે છે. આનો અર્થ એ થયો કે આખેઆખી સોફ્ટવેર ફાઈલ, કાનૂની દસ્તાવેજો કે ટેકનિકલ બુક એક જ વારમાં વાંચી શકે છે.
તે માણસની મદદ વગર લાંબા કોડ લખવા અને અઘરા સોફ્ટવેર બનાવવાનું કામ કરી શકે છે. તે GPU કોડિંગ સુધારવા, કમ્પાઇલર બનાવવા અને માઇક્રોચિપ ડિઝાઇન કરવા જેવા કામ કરી શકે છે.
તે સોફ્ટવેર કોડિંગની સાથે ઈમેજ અને સ્પેસ સમજવાની ક્ષમતા પણ ધરાવે છે. આથી ગેમિંગ, વેબસાઇટ ડિઝાઇન અને Computer-Aided Design (CAD) જેવા કામ આપમેળે કરી શકે છે.
Moonshot AI એ આ મોડેલના તમામ કોડ Hugging Face પ્લેટફોર્મ પર વિનામૂલ્યે મૂકી દીધા છે. દુનિયાભરના સંશોધકો હવે તેનો મુક્તપણે ઉપયોગ અને અભ્યાસ કરી શકશે.

Kimi K3 દર્શાવે છે કે ચીનની ટેક કંપનીઓ OpenAI અને Anthropic જેવી અમેરિકી કંપનીઓને સીધી ટક્કર આપી શકે છે. આનાથી એઆઈ ક્ષેત્રે ચીન અને અમેરિકા વચ્ચેનું અંતર ઘટ્યું છે.
પોતાના 2.8-ટ્રિલિયન પેરામીટર વાળા MoE મોડેલને ઓપન સોર્સ કરીને તેણે એઆઈ ક્ષેત્રે નવો રસ્તો ખોલ્યો છે. આનાથી એઆઈ સંશોધન સસ્તું થશે અને નવી શોધો ઝડપથી થશે.