ਐਪਲ ਨੇ ਆਪਣੇ ਏਆਈ ਮਾਡਲਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਗਤੀ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਐਨਵੀਡੀਆ ਨਾਲ ਭਾਈਵਾਲੀ ਕੀਤੀ

ਐਪਲ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਮਾਡਲਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਗਤੀ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਵਿੱਚ Nvidia ਨਾਲ ਸਾਂਝੇਦਾਰੀ ਕਰ ਰਿਹਾ ਹੈ। ਬੁੱਧਵਾਰ ਨੂੰ, ਕੂਪਰਟੀਨੋ-ਅਧਾਰਤ ਤਕਨੀਕੀ ਦਿੱਗਜ ਨੇ ਘੋਸ਼ਣਾ ਕੀਤੀ ਕਿ ਇਹ ਐਨਵੀਡੀਆ ਦੇ ਪਲੇਟਫਾਰਮ ‘ਤੇ ਅਨੁਮਾਨ ਪ੍ਰਵੇਗ ਦੀ ਖੋਜ ਕਰ ਰਿਹਾ ਹੈ ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਕੀ ਇੱਕ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਦੀ ਕੁਸ਼ਲਤਾ ਅਤੇ ਲੇਟੈਂਸੀ ਦੋਵਾਂ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਵਿੱਚ ਸੁਧਾਰਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਆਈਫੋਨ ਨਿਰਮਾਤਾ ਨੇ ਰਿਕਰੈਂਟ ਡਰਾਫਟਰ (ਰੀਡਰਾਫਟਰ) ਨਾਮਕ ਤਕਨੀਕ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜੋ ਇਸ ਸਾਲ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਇੱਕ ਖੋਜ ਪੱਤਰ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਤ ਹੋਈ ਸੀ। ਇਸ ਤਕਨੀਕ ਨੂੰ Nvidia TensorRT-LLM ਅਨੁਮਾਨ ਪ੍ਰਵੇਗ ਫਰੇਮਵਰਕ ਨਾਲ ਜੋੜਿਆ ਗਿਆ ਸੀ।

ਐਪਲ AI ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ Nvidia ਪਲੇਟਫਾਰਮ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ

ਵਿਚ ਏ ਬਲੌਗ ਪੋਸਟਐਪਲ ਖੋਜਕਰਤਾਵਾਂ ਨੇ LLM ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਇਸ ਤੋਂ ਪ੍ਰਾਪਤ ਨਤੀਜਿਆਂ ਲਈ Nvidia ਦੇ ਨਾਲ ਨਵੇਂ ਸਹਿਯੋਗ ਦਾ ਵੇਰਵਾ ਦਿੱਤਾ। ਕੰਪਨੀ ਨੇ ਉਜਾਗਰ ਕੀਤਾ ਕਿ ਉਹ AI ਮਾਡਲਾਂ ਵਿੱਚ ਲੇਟੈਂਸੀ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹੋਏ ਅਨੁਮਾਨ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਦੀ ਸਮੱਸਿਆ ‘ਤੇ ਖੋਜ ਕਰ ਰਹੀ ਹੈ।

ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਵਿੱਚ ਅਨੁਮਾਨ ਇੱਕ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੇਟਾ ਜਾਂ ਇਨਪੁਟ ਦੇ ਦਿੱਤੇ ਗਏ ਸਮੂਹ ਦੇ ਅਧਾਰ ਤੇ ਭਵਿੱਖਬਾਣੀਆਂ, ਫੈਸਲੇ ਜਾਂ ਸਿੱਟੇ ਬਣਾਉਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਸਧਾਰਨ ਰੂਪ ਵਿੱਚ, ਇਹ ਇੱਕ AI ਮਾਡਲ ਦਾ ਪ੍ਰੋਸੈਸਿੰਗ ਪੜਾਅ ਹੈ ਜਿੱਥੇ ਇਹ ਪ੍ਰੋਂਪਟ ਨੂੰ ਡੀਕੋਡ ਕਰਦਾ ਹੈ ਅਤੇ ਕੱਚੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਅਣਦੇਖੀ ਜਾਣਕਾਰੀ ਵਿੱਚ ਬਦਲਦਾ ਹੈ।

ਇਸ ਸਾਲ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ, ਐਪਲ ਪ੍ਰਕਾਸ਼ਿਤ ਅਤੇ ਰੀਡਰਾਫਟਰ ਤਕਨੀਕ ਨੂੰ ਓਪਨ-ਸੋਰਸ ਕੀਤਾ ਗਿਆ ਹੈ ਜੋ ਡੇਟਾ ਦੀ ਸੱਟੇਬਾਜ਼ੀ ਡੀਕੋਡਿੰਗ ਲਈ ਇੱਕ ਨਵੀਂ ਪਹੁੰਚ ਲਿਆਉਂਦਾ ਹੈ। ਇੱਕ ਆਵਰਤੀ ਨਿਊਰਲ ਨੈਟਵਰਕ (RNN) ਡਰਾਫਟ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਇਹ ਬੀਮ ਖੋਜ (ਇੱਕ ਵਿਧੀ ਜਿੱਥੇ AI ਇੱਕ ਹੱਲ ਲਈ ਕਈ ਸੰਭਾਵਨਾਵਾਂ ਦੀ ਪੜਚੋਲ ਕਰਦਾ ਹੈ) ਅਤੇ ਗਤੀਸ਼ੀਲ ਟ੍ਰੀ ਅਟੈਂਸ਼ਨ (ਟ੍ਰੀ-ਸਟ੍ਰਕਚਰ ਡੇਟਾ ਇੱਕ ਧਿਆਨ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ) ਨੂੰ ਜੋੜਦਾ ਹੈ। ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਦੱਸਿਆ ਕਿ ਇਹ LLM ਟੋਕਨ ਬਣਾਉਣ ਦੀ ਗਤੀ 3.5 ਟੋਕਨ ਪ੍ਰਤੀ ਪੀੜ੍ਹੀ ਦੇ ਪੜਾਅ ਤੱਕ ਵਧਾ ਸਕਦਾ ਹੈ।

ਜਦੋਂ ਕਿ ਕੰਪਨੀ ਦੋ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਜੋੜ ਕੇ ਕੁਝ ਹੱਦ ਤੱਕ ਪ੍ਰਦਰਸ਼ਨ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਦੇ ਯੋਗ ਸੀ, ਐਪਲ ਨੇ ਉਜਾਗਰ ਕੀਤਾ ਕਿ ਗਤੀ ਵਿੱਚ ਕੋਈ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ ਨਹੀਂ ਹੋਇਆ ਹੈ। ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ Nvidia TensorRT-LLM ਅਨੁਮਾਨ ਪ੍ਰਵੇਗ ਫਰੇਮਵਰਕ ਵਿੱਚ ReDrafter ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕੀਤਾ।

ਸਹਿਯੋਗ ਦੇ ਇੱਕ ਹਿੱਸੇ ਵਜੋਂ, ਐਨਵੀਡੀਆ ਨੇ ਨਵੇਂ ਆਪਰੇਟਰਾਂ ਨੂੰ ਜੋੜਿਆ ਹੈ ਅਤੇ ਸੱਟੇਬਾਜ਼ੀ ਡੀਕੋਡਿੰਗ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਮੌਜੂਦਾ ਲੋਕਾਂ ਦਾ ਪਰਦਾਫਾਸ਼ ਕੀਤਾ ਹੈ। ਪੋਸਟ ਨੇ ਦਾਅਵਾ ਕੀਤਾ ਕਿ ਜਦੋਂ ਰੀਡਰਾਫਟਰ ਨਾਲ ਐਨਵੀਡੀਆ ਪਲੇਟਫਾਰਮ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ, ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਲਾਲਚੀ ਡੀਕੋਡਿੰਗ (ਕ੍ਰਮ ਬਣਾਉਣ ਦੇ ਕੰਮਾਂ ਵਿੱਚ ਵਰਤੀ ਜਾਂਦੀ ਇੱਕ ਡੀਕੋਡਿੰਗ ਰਣਨੀਤੀ) ਲਈ ਪ੍ਰਤੀ ਸਕਿੰਟ ਤਿਆਰ ਟੋਕਨਾਂ ਵਿੱਚ 2.7x ਸਪੀਡ-ਅਪ ਮਿਲਿਆ।

ਐਪਲ ਨੇ ਉਜਾਗਰ ਕੀਤਾ ਕਿ ਇਸ ਤਕਨਾਲੋਜੀ ਦੀ ਵਰਤੋਂ AI ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਲੇਟੈਂਸੀ ਨੂੰ ਘਟਾਉਣ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਦੋਂ ਕਿ ਘੱਟ GPUs ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਤੇ ਘੱਟ ਪਾਵਰ ਦੀ ਖਪਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।