[telkomiot.id] Pengiriman data DHT11 menggunakan modem SIM800 - full AT command

 

Untuk dapat mengikuti praktek yang saya tampilkan ditulisan ini, maka sebelumnya pembaca sebaiknya mengikuti 2 tulisan sebelumnya yaitu :

• Pengiriman data sensor dengan REST API / POST disini 
• Bermain SMS gateway dengan modem simcom disini

Dengan membaca 2 tulisan diatas mungkin dapat memberikan gambaran setup hardware dan perintah-perintah dasar yang akan dipakai terutama AT COMMAND untuk modem simcom yang kali ini akan kita manfaatkan sebagai pengirim data HTTP / POST ke REST API. Daripada bingung, kita coba mengirimkan secara POST menggunakan chrome extension "Talend API Tester" yang dulu pernah sudah dijelaskan pada tulisan sebelumnya. 

Mungkin sedikit akan membingungkan bagi yang tidak terbiasa kirim mengirim teks http, namun saya tekankan gak perlu takut karena yg dikirimkan adalah teks http yang sudah memiliki pola pasti dan tinggal mengikuti saja dan menyesuaikan terutama dibagian authorization credential (access key) dimana pada telkomiot menggunakan accesss:token dengan enkripsi base64.

Sedangkan di level komunikasi modem simcom,  AT Command yg digunakan dulu pernah dibahas ( baca disini ),  dimana secara garis besar urutan untuk modem sim800 terhubung ke network internet 2G/GPRS  adalah sebagai berikut:

void connectToNetwork() {
  sim808.println("AT");
  delay(1000);
  sim808.println("AT+SAPBR=3,1,\"CONTYPE\",\"GPRS\"");
  delay(1000);
  sim808.println("AT+SAPBR=3,1,\"APN\",\"internet\"");
  delay(1000);
  sim808.println("AT+SAPBR=1,1");
  delay(2000);
  sim808.println("AT+SAPBR=2,1");
  delay(1000);
}

Untuk mengecek IP yang diberikan oleh operator, pada function diatas terdapat AT+SAPBR=2,1 , dan jika sudah terkoneksi dengan benar maka kedip dari lampu status modem menjadi lebih cepat sekitar 100ms periodenya. Lalu bagaimana dengan koneksi ke server REST API dan mengirimkan data secara POST? Berikut urutannya :

void sendDataToAPI(String data) {
  // Gabungkan accessKey dan accessToken, lalu encode ke dalam Base64
  String credentials = accessKey + ":" + accessToken;
  String base64Credentials = base64_encode(credentials.c_str());

  sim808.println("AT+HTTPINIT"); // Inisialisasi layanan HTTP
  delay(1000);

  sim808.println("AT+HTTPPARA=\"CID\",1"); // Atur identifikasi konteks ke 1
  delay(1000);

  sim808.println("AT+HTTPPARA=\"URL\",\"" + apiUrl + "\""); // Tentukan URL endpoint API
  delay(1000);

  sim808.println("AT+HTTPPARA=\"CONTENT\",\"application/json\""); // Tentukan tipe konten ke JSON
  delay(1000);

  // Tambahkan header Authorization dengan kredensial yang sudah di-encode Base64
  sim808.println("AT+HTTPPARA=\"USERDATA\",\"Authorization: Basic " + base64Credentials + "\"");
  delay(1000);

  // Persiapkan untuk mengirim data POST beserta panjangnya
  sim808.println("AT+HTTPDATA=" + String(data.length()) + ",10000"); // Tentukan panjang data
  delay(1000);

  sim808.print(data); // Kirim data JSON
  delay(10000); // Tunggu hingga data diunggah

  sim808.println("AT+HTTPACTION=1"); // Eksekusi permintaan HTTP POST (aksi 1 adalah POST)
  delay(5000); // Tunggu respons dari server

  sim808.println("AT+HTTPREAD"); // Baca respons dari server
  delay(1000);
  while (sim808.available()) {
    Serial.write(sim808.read()); // Tampilkan respons untuk debugging
  }

  sim808.println("AT+HTTPTERM"); // Akhiri sesi HTTP
  delay(1000);
}

Penjelasan Masing-Masing Perintah AT

AT+HTTPINIT:

Ini digunakan untuk menginisialisasi layanan HTTP di SIM800. Sebelum melakukan permintaan HTTP (GET atau POST), modem harus dipersiapkan dengan perintah ini.

Respons: OK jika layanan HTTP berhasil diinisialisasi.

AT+HTTPPARA="CID",1:

CID adalah "Context Identifier" yang memberitahu SIM800 koneksi GPRS mana yang akan digunakan. Di sini, CID=1 merujuk pada koneksi GPRS yang diatur dengan AT+SAPBR=1,1 di fungsi connectToNetwork().

Respons: OK jika pengaturan identifikasi konteks berhasil.

AT+HTTPPARA="URL","<your API URL>":

Perintah ini menetapkan URL dari server tempat data akan dikirim. Di sini, Anda memasukkan URL API (http://publish-data.telkomiot.id/v2.0/pubs/...).

Respons: OK jika URL berhasil diatur.

AT+HTTPPARA="CONTENT","application/json":

Perintah ini menentukan tipe konten yang dikirim. Dalam hal ini, Anda mengirim data dalam format JSON, jadi tipe konten diatur ke "application/json".

Respons: OK jika tipe konten berhasil diatur.

AT+HTTPPARA="USERDATA","Authorization: Basic <Base64 credentials>":

Perintah ini menambahkan header kustom ke permintaan HTTP. Di sini, kita menggunakannya untuk menambahkan header Authorization, yang berisi kredensial yang sudah di-encode dalam Base64 (gabungan access_key:access_token). Ini adalah cara standar untuk melakukan autentikasi dengan API.

Respons: OK jika header berhasil ditambahkan.

AT+HTTPDATA=<length>,<timeout>:

Perintah ini mempersiapkan SIM808 untuk menerima data untuk permintaan POST. Parameter <length> menentukan jumlah byte data yang akan dikirim, dan <timeout> adalah waktu (dalam milidetik) yang diizinkan untuk mengirim data. Pada kode di atas, data.length() memberikan panjang payload JSON, dan 10000 (10 detik) diberikan sebagai batas waktu.

Respons: DOWNLOAD jika SIM808 siap menerima data.

sim808.print(data):

Ini mengirim data sebenarnya (payload JSON) ke SIM800 setelah perintah AT+HTTPDATA. Modem sekarang mengetahui berapa banyak data yang akan dikirim dan menunggu dalam periode waktu yang ditentukan.

AT+HTTPACTION=1:

Perintah ini memulai permintaan HTTP POST (1 menandakan POST). SIM800 akan mengirimkan data yang telah disiapkan sebelumnya (dalam format JSON) ke URL yang ditentukan dengan header yang telah ditentukan.

Respons: OK diikuti dengan kode status HTTP, seperti 200 untuk sukses atau 404 untuk tidak ditemukan.

AT+HTTPREAD:

Setelah aksi POST selesai, perintah ini digunakan untuk membaca respons dari server. Respons ini bisa berisi informasi penting, seperti apakah permintaan berhasil.

Respons: Isi tubuh respons HTTP yang dikirim oleh server, ditampilkan di monitor Serial untuk keperluan debugging.

AT+HTTPTERM:

Ini digunakan untuk mengakhiri sesi HTTP dan melepaskan sumber daya yang digunakan oleh SIM800 untuk layanan HTTP. Sebaiknya selalu menutup sesi setelah menyelesaikan permintaan.

Respons: OK jika layanan HTTP berhasil diakhiri.

Dengan kombinasi perintah AT diatas ini, Anda bisa menghubungkan Arduino ke server web (REST API) melalui SIM800, memungkinkan untuk mengirim data sensor ke platform IoT melalui jaringan seluler.

Pada praktek yang sudah saya buat sebelumnya, saya menggunakan sensor DHT11 yang akan memberikan data suhu dan kelembaban dan selanjutnya dikirim ke telkomiot.id secara POST. Pada dashbord serta event trigger bisa disesuaikan dengan keinginan seperti yang telah dibahas pada tulisan sebelumnya. 

Koding Lengkap :

#include <SoftwareSerial.h>
#include <DHT.h>

#define DHTPIN 13      // DHT11 connected to pin 13
#define DHTTYPE DHT11  // DHT 11 sensor type
DHT dht(DHTPIN, DHTTYPE);

SoftwareSerial sim808(2, 3); // RX, TX for SIM800

String apiUrl = "http://publish-data.telkomiot.id/v2.0/pubs/APP111111111/DEV222222222"; //sesuaikan dengan endpoint aplication telkomiot
String accessKey = "11111111111111111";    //sesuaikan dengan akun telkomiot.id
String accessToken = "22222222222222222";

void setup() {
  Serial.begin(9600);
  sim808.begin(9600);
  dht.begin();
  delay(5000); // Give time for SIM800 to initialize

  connectToNetwork();
}

void loop() {
  float h = dht.readHumidity();
  float t = dht.readTemperature();

  if (isnan(h) || isnan(t)) {
    Serial.println("Failed to read from DHT sensor!");
    return;
  }

  String postData = "{\"suhu\": \"" + String(t) + "\", \"humi\": \"" + String(h) + "\"}";
  Serial.println(postData);
  sendDataToAPI(postData);
  delay(10000); // Send data every 10 seconds
}

void connectToNetwork() {
  sim808.println("AT");
  delay(1000);
  sim808.println("AT+SAPBR=3,1,\"CONTYPE\",\"GPRS\"");
  delay(1000);
  sim808.println("AT+SAPBR=3,1,\"APN\",\"internet\"");
  delay(1000);
  sim808.println("AT+SAPBR=1,1");
  delay(2000);
  sim808.println("AT+SAPBR=2,1");
  delay(1000);
}

void sendDataToAPI(String data) {
  // Combine accessKey and accessToken, then encode them in Base64
  String credentials = accessKey + ":" + accessToken;
  String base64Credentials = base64_encode(credentials.c_str());

  sim808.println("AT+HTTPINIT");
  delay(1000);
  sim808.println("AT+HTTPPARA=\"CID\",1");
  delay(1000);
  sim808.println("AT+HTTPPARA=\"URL\",\"" + apiUrl + "\"");
  delay(1000);
  sim808.println("AT+HTTPPARA=\"CONTENT\",\"application/json\"");
  delay(1000);

  // Add Authorization header
  sim808.println("AT+HTTPPARA=\"USERDATA\",\"Authorization: Basic " + base64Credentials + "\"");
  delay(1000);

  sim808.println("AT+HTTPDATA=" + String(data.length()) + ",10000");
  delay(1000);
  sim808.print(data);
  delay(10000); // Time to send the data
  
  sim808.println("AT+HTTPACTION=1"); // Start the HTTP POST
  delay(5000);
  
  sim808.println("AT+HTTPREAD");
  delay(1000);
  while (sim808.available()) {
    Serial.write(sim808.read()); // Display response
  }
  
  sim808.println("AT+HTTPTERM"); // End HTTP session
  delay(1000);
}

String base64_encode(const char* input) {
  const char b64_alphabet[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
  String encoded = "";
  int i = 0, j = 0;
  unsigned char char_array_3[3], char_array_4[4];

  while (*input) {
    char_array_3[i++] = *(input++);
    if (i == 3) {
      char_array_4[0] = (char_array_3[0] & 0xfc) >> 2;
      char_array_4[1] = ((char_array_3[0] & 0x03) << 4) + ((char_array_3[1] & 0xf0) >> 4);
      char_array_4[2] = ((char_array_3[1] & 0x0f) << 2) + ((char_array_3[2] & 0xc0) >> 6);
      char_array_4[3] = char_array_3[2] & 0x3f;

      for (i = 0; i < 4; i++)
        encoded += b64_alphabet[char_array_4[i]];
      i = 0;
    }
  }

  if (i) {
    for (j = i; j < 3; j++)
      char_array_3[j] = '\0';

    char_array_4[0] = (char_array_3[0] & 0xfc) >> 2;
    char_array_4[1] = ((char_array_3[0] & 0x03) << 4) + ((char_array_3[1] & 0xf0) >> 4);
    char_array_4[2] = ((char_array_3[1] & 0x0f) << 2) + ((char_array_3[2] & 0xc0) >> 6);
    char_array_4[3] = char_array_3[2] & 0x3f;

    for (j = 0; j < i + 1; j++)
      encoded += b64_alphabet[char_array_4[j]];

    while ((i++ < 3))
      encoded += '=';
  }

  return encoded;
}

Read More

[telkomiot.id] Pengolahan Data Lorawan Menjadi Grafik Dengan Python

 

Setelah berhasil menggunakan API dengan benar pada tulisan sebelumnya, kini saya lanjutkan pengolahan data yang dikirimkan menggunakan LoRaWan pada telkomIOT. Alat yang saya gunakan masih yang lama ketika 3 tahun lalu berkenalan dengan lorawan yaitu hardware mikrokontroler berbasis arduino nano dengan modul lora sx1276 - 915Mhz.

Jadi jika pembaca baru berkenalan dengan lorawan, silahkan baca dulu klik disini karena scriptnya masih sama hanya beda di authentifikasi lorawannya saja kini menuju ke telkomiot. Dan juga yang mencolok adalah antenanya yaitu setelah saya dan anak-anak magang serta tugas akhir dari Unesa Surabaya - prodi D4 teknik listrik berhasil meneliti antena dipole + yagi sederhana (pake antena tv) sebagai pengirim sinyal lebih baik (baca disini). Hasilnya kini dalam rumah yang dulunya sangat susah kirim data akibat pembangunan gedung tinggi di sebelah rumah, kini dapat mengirimkan dengan lancar sekali

Dan sesuai contoh di tulisan sebelumnya maka dapat diolah data yang diterima menjadi widget seperti gambar dibawah ini.

Untuk pengolahan data diluar telkomiot sayangnya tidak bisa terlalu realtime dikarenakan mqtt yang belum jalan, yang disediakan hanya berupa REST API secara GET yang dinamakan API Integration seperti gambar dibawah.

Dan kalau kita coba pada postman atau Talend API Tester hasilnya berupa 10 data terakhir dari data lorawan yang berhasil di UPLINK ke database telkomiot.

Karena datanya berjumlah 10 maka sangat terbantu untuk membuat grafik menggunakan platform apapun baik java (node.js), php atau kesukaan saya menggunakan python seperti script berikut ini:

# Script Untuk Mengambil Data Lorawan TelkomIot
# by Nyoman yudi - www.aisi555.com
# ahocool@gmail.com  08155737755


import requests
import json
import base64
import matplotlib.pyplot as plt
import matplotlib.animation as animation
from dateutil import parser
from datetime import datetime
import signal
import sys

# Telkom IoT API details , sesuaikan
API_URL = 'https://api-data.telkomiot.id/api/v2.0/APPxxxxxxxxxxxxx/DEVxxxxxxxxxxxx/lasthistory'
ACCESS_KEY = 'aaaaaaaaaaaaaaaa'
TOKEN_KEY = 'bbbbbbbbbbbnnnnnn'

# Encode accesskey:tokenkey to Base64
auth_string = f'{ACCESS_KEY}:{TOKEN_KEY}'
auth_bytes = auth_string.encode('utf-8')
auth_base64 = base64.b64encode(auth_bytes).decode('utf-8')

HEADERS = {
    'Authorization': f'Basic {auth_base64}',
    'Content-Type': 'application/json'
}

# Lists to store timestamps, temperature, and humidity data
timestamps = []
temperature_data = []
humidity_data = []

# Function to fetch data from Telkom IoT API
def fetch_data():
    try:
        response = requests.get(API_URL, headers=HEADERS)
        if response.status_code == 200:
            data = response.json()
            timestamps.clear()
            temperature_data.clear()
            humidity_data.clear()
            for entry in data:
                timestamp = parser.isoparse(entry['time'])
                sensor_data = json.loads(entry['data'])
                temperature = sensor_data['suhu']
                humidity = sensor_data['humi']
                timestamps.append(timestamp)
                temperature_data.append(temperature)
                humidity_data.append(humidity)
        else:
            print(f"Failed to fetch data: {response.status_code}")
    except Exception as e:
        print(f"Error fetching data: {e}")


# Function to update the graph
def update_graph(i):
    fetch_data()
    ax.clear()
    width = 0.4  # Width of the bars
    indices = range(len(timestamps))

    # Create bars for temperature and humidity
    bars1 = ax.bar([x - width / 2 for x in indices], temperature_data, width, label='Temperature (°C)')
    bars2 = ax.bar([x + width / 2 for x in indices], humidity_data, width, label='Humidity (%)')

    # Set the labels
    ax.set_xlabel('Time')
    ax.set_ylabel('Value')
    ax.set_xticks(indices)
    ax.set_xticklabels([ts.strftime('%H:%M:%S') for ts in timestamps], rotation=45)
    ax.legend(loc='upper left')


# Function to handle graceful shutdown
def signal_handler(sig, frame):
    print('Stopping the script...')
    sys.exit(0)


# Set up the plot
fig, ax = plt.subplots()

# Animate the plot
ani = animation.FuncAnimation(fig, update_graph, interval=10000, cache_frame_data=False)  # Update every 10 seconds

# Register the signal handler
signal.signal(signal.SIGINT, signal_handler)

# Display the plot
plt.show()

Dan hasilnya cukup dapat dihandalkan lhooo....

Read More

[telkomiot.id] Mengirim Data DHT11 - ESP8266 via REST API dan Menampilkan di Widget & Notif Ke Email

 

Walau sempat galau karena MQTT gagal dikirimkan ke platform Telkomiot.id, tidak usah nyinyir berlebihan karena ada satu cara yang umum dilakukan untuk kirim-terima data yaitu via REST API / HTTP/ POST . Langsung aja yuk kita mencoba menggunakan software semacam postman untuk mengirimkan data secara HTTP, dan saya pilihkan yang lebih mudah yaitu chrome extension bernama "Talend API Tester". Langkah-langkahnya cukup straight forward, kita cek dulu alamat endpoint dari REST API nya pada console :application/device di website telkomiot.

Sesuai petunjuk bapak presiden...ehhh salah..dokumentasi yang sangat sedikit, saya menerka bahwa akan ada authentification /authorization berdasarkan access key dan token key untuk access  api dan biasanya ditambahkan pada header berupa "authorization". Lanjutkan aja dengan memasukkan pasangan key yang benar

Header yang gak kalah penting adalah "Content-Type" : "application/json" dan langsung saja saya coba dan berhasil mengirimkan data suhu dan humi ke telkomiot....yeahhh

Bagaimana dengan mengirimkan secara hardware? saya pilihkan microcontroller + sensor sejuta umat paling murah meriah : Wemos + DHT11.

Bagi yang masih awam dengan wemos/esp8266 untuk mengukur suhu dengan DHT11, dapat belajar dulu seri tulisan IOT yang full menggunakan rangkaian seperti diatas ( baca dulu klik disini )

*/telkomiot.id testing from www.aisi555.com
  by nyoman yudi kurniawan ahocool@gmail.com
  08155737755 - surabaya 2024
*/
#include <ESP8266WiFi.h>
#include <ESP8266HTTPClient.h>
#include <WiFiClient.h>
#include "DHT.h"
#include <base64.h>

// wifi kamu sesuaikan
const char* ssid = "hotspothp";
const char* password = "tanyasebelah";

// Domain http publish dari device DHT11 ditelkomiot, sesuaikan
const char* serverName = "http://publish-data.telkomiot.id/v2.0/pubs/APP1111111111/DEV222222222223";

// account key dari telkomiot
String AccessKey   = "aaaaaaaaaaaaaaaa";
String AccessToken = "bbbbbbbbbbbbbbbb";
String auth;
String authHeader;

const int dhtPin = D3; //Sesuaikan pin DHT
#define DHTTYPE DHT11  //Sensor DHT11
DHT dht(dhtPin, DHTTYPE); 

//timer untuk membaca DHT11 tiap 10 detik
unsigned long lastTime = 0;
unsigned long timerDelay = 10000;

WiFiClient client;
HTTPClient http;

void setup() {
  Serial.begin(9600);
  delay(1000);
  Serial.println("www.aisi555.com ==> telkomiot.id testing");
  WiFi.begin(ssid, password);
  Serial.println("Connecting");
  while(WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("");
  Serial.print("Terhubung wifi : ");
  Serial.print(ssid);
  Serial.print("  IP : ");
  Serial.println(WiFi.localIP());


   //auth header untuk POST
  auth = AccessKey+ ":" + AccessToken;
  authHeader = "Basic " + base64::encode(auth);
 
}

String SendTempHumid(){ // pengukuran DHT
   
 
    float h = dht.readHumidity();
    float t = dht.readTemperature();

    if (isnan(h) || isnan(t)) {
      Serial.println("Failed to read from DHT sensor!");
    }
    
    Serial.print("Humidity: "); 
    Serial.print(h);
    Serial.print(" %\t");
    Serial.print("Temperature: "); 
    Serial.print(t);
    Serial.println(" °C ");
  //yang dikirim data berupa string JSON
  
  return( "{\"suhu\":" + String(t) + ",\"humi\":" + String(h) +"}"); 
  }


void loop() {
  //Send HTTP POST request tiap 10 detik
  if ((millis() - lastTime) > timerDelay) {
    //Check WiFi connection status
    if(WiFi.status()== WL_CONNECTED){

      
      // server untuk kirim REST API
      http.begin(client, serverName);
      
      // Specify content-type header
      http.addHeader("Authorization", authHeader);
      http.addHeader("Content-Type", "application/json");
      // Data to send with HTTP POST
      String httpRequestData = SendTempHumid();           
      // Send HTTP POST request
      int httpResponseCode = http.POST(httpRequestData);
      

      Serial.print("HTTP Response code: ");
      Serial.println(httpResponseCode);
        
      // Free resources
      http.end();
    }
    else {
      Serial.println("WiFi terputus");
    }
    lastTime = millis();
  }
}

Hasilnya bagaimana  ?

Penjabarannya seperti berikut :

Library :

#include <ESP8266WiFi.h>
#include <ESP8266HTTPClient.h>
#include <WiFiClient.h>
#include "DHT.h"
#include <base64.h>

Yang digunakan library standar ESP8266 untuk kirim terima data via http dan sudah tersedia semua secara default. Yang mungkin berbeda adalah base64.h yang jarang digunakan, kali ini tujuannya untuk meng-enkripsi auth key sebagai standar auth pada REST API.

Rest API endpoint + auth:

// Domain http publish dari device DHT11 ditelkomiot, sesuaikan
const char* serverName = "http://publish-data.telkomiot.id/v2.0/pubs/APP1111111111111111/DEV222222222222222";

// account key dari telkomiot
String AccessKey   = "aaaaaaaaaaaaaaaa";
String AccessToken = "bbbbbbbbbbbbbbbb";
String auth;
String authHeader;

WiFiClient client;
HTTPClient http;

Base 64 auth Header :

   //auth header untuk POST
  auth = AccessKey+ ":" + AccessToken;
  authHeader = "Basic " + base64::encode(auth);

Baca DHT 11 :

String SendTempHumid(){ // pengukuran DHT
   
 
    float h = dht.readHumidity();
    float t = dht.readTemperature();

    if (isnan(h) || isnan(t)) {
      Serial.println("Failed to read from DHT sensor!");
    }
    
    Serial.print("Humidity: "); 
    Serial.print(h);
    Serial.print(" %\t");
    Serial.print("Temperature: "); 
    Serial.print(t);
    Serial.println(" °C ");
  //yang dikirim data berupa string JSON
  
  return( "{\"suhu\":" + String(t) + ",\"humi\":" + String(h) +"}"); 
  }

Kirim secara post :

      // server untuk kirim REST API
      http.begin(client, serverName);
      
      // Specify content-type header
      http.addHeader("Authorization", authHeader);
      http.addHeader("Content-Type", "application/json");
      // Data to send with HTTP POST
      String httpRequestData = SendTempHumid();           
      // Send HTTP POST request
      int httpResponseCode = http.POST(httpRequestData);
      

      Serial.print("HTTP Response code: ");
      Serial.println(httpResponseCode);
        
      // Free resources
      http.end();

Lumayan straight forward, hanya meniru apa yang sudah dilakukan pada aplikasi testing REST API sebelumnya, dan jika data json / dht11 benar maka pada monitor terminal muncul ini.

Http response 200 artinya data diterima dengan benar, sedangkan jika 400 berarti json pengambilan data dht11 nya salah.

Lalu bagaimana cara menampilkan gauge dan grafik seperti gambar paling diatas? tinggal menuju menu personal dashboard , lalu buat dashboard kamu serta tambahkan widget yang dihubungkan ke device kamu.

Dan jika benar, maka akan muncul widget berupa gauge-line chart-bar chart sesuai yang kamu pilih. Dan tiap widget ini dapat ditempelkan pada website kamu lhoo..

Dan bisa kirim alarm lewat  event trigger ke email lhooo ...

Walau kekecewaan masih tersirat pada saya yang pencinta MQTT ini, namun dengan praktek diatas agak sedikit terobati, dan semoga kalian bisa mencobanya sendiri

Read More

[telkomiot.id] Mengirim / Terima (PUB-SUB) Data Menggunakan MQTT - Ketemu BUG !

 

Platform IOT terbaru milik telkom ini memang masih terbilang baru dan versi beta, saya kenal sekitar bulan mei dari pembaca blog yang kebetulan mahasiswa yg mendapatkan skripsi membahas telkomiot-lorawan. Sebelumnya telkom memiliki platform Antares yang sudah lama saya bahas, silahkan coba baca disini dulu. Pada dasarnya platform ini seperti menjiplak plek antares di web-ui nya, namun saya menemukan beberapa perbedaan saat mencoba kirim  terima data melalui MQTT, HTTP maupun lorawan.

Pada tulisan kali ini saya akan berbagi mengenai "keanehan" MQTT pada platform ini, yah seperti dejavu rasanya ketika ketemu  bug dulu saat saya belajar antares dulu. Kok gak kapok ya saya? maklum versi beta mungkin ya atau mungkin karena masih trial (GRATIS 1 tahun booo). Oh iya saya sebenernya mencoba ini hampir 2 bulan lalu, namun saya diemkan aja sampai kemudian gatel akibat 2 bulan hanya ada progress di lorawan nya saja (yang bikin antares ngadat, baca disini), jadi seperti biasa saya mengacu dokumentasi yang bisa dibaca pada halaman yang disediakan telkomiot.

Dokumentasi MQTT via Node-red bisa dilihat di https://console.telkomiot.id/documentation#421

Yang menjadi alamat broker mqtt adalah : mqtt.telkomiot.id port 1883, dan jangan lupa ada user credential berupa access key dan access token sebagai username dan password untuk masuk ke broker. Keduanya bisa didapat pada console menu access key, dan langsung saja saya masukkan untuk setup broker pada node-red serta mqtt.fx di pc saya.

Setup MQTT di Nodered :

 

Setup MQTT di MQTT.FX

Selanjutnya kita akan melanjutkan seting pada topik MQTT sesuai pada console dan petunjuk dokumentasi.

Jadi seperti pada umumnya akan ada 2 topik pubs dan subs sesuai pola yg biasa diberikan platform iot manapun dan juga telah ditulis dipetunjuk, lalu kita kirimkan data secara publish melalui mqtt.fx dan node-red,  dan apa yang terjadi ?

JENG JENG !!!

KOSONG pada console ! Bolak balik saya mencoba dengan berbagai kombinasi seting, hasilnya malah membagongkan ketika saya subscribe topik "pubs" di mqtt.fx dan mengirimkan data mqtt melalui node-red.

 

Waduh...kok bisa begitu ? Bagaimana kalau kita coba gunakan topik sembarangan, apa akan masuk datanya?

Wahhh akhirnya saya menemukan sebuah broker MQTT yang bebas mengirim dan menerima data kawan ! Bahkan saking bagusnya saya masih menerima data MQTT yang saya retain 2 bulan yang lalu. Ayo dong diperbaiki kawan-kawan di telkom, dan saya rasa ini tidaklah susah ....

Read More

Breaking News : LoRaWan Antares Migrasi Ke Telkomiot.id

 

Betapa galaunya beberapa mahasiswa yang mengambil topik skripsi LoRawan di 15 juli 2024 ...Pak..gak bisa kirim data !! Gak cuman mahasiswa bimbingan saya, namun dari kampus lain pun mengalami hal serupa dan memenuhi whatsapp saya.

Jadi ingat beberapa bulan yang lalu ada mahasiswa dari mataram yang bertanya namun menggunakan console bukan antares, dan mengaku diberikan oleh dosennya yang baru pulang dari pelatihan di telkom bandung. Dan console itu berupa tampilan dari web telkomiot.id

BTS LoRaWan di Telkom Mataram

Oprek-oprek lah saya dan sempat berkeliling melakukan test apakah lorawan-nya sudah bisa konek seperti antares, dan hasilnya di bulan mei itu masih zonk. Begitu juga dengan beberapa koneksi MQTT - Rest API dll masih mengalami error yang sangat fundamental. Jadi saat itu saya menemukan topik MQTT nya masih ngawur dan data bisa dikirimkan kemana saja asal topiknya berupa alamat dari device. Setelah itu saya tinggalkan aja karena sepertinya belum di configure dengan bagus. Mau men-review ujungnya saya jadi kepo dan nyinyir gak karuan.

Kembali ke Lorawan di pertengahan juli 2024, dimana antares mulai ngaco, akhirnya saya teringat akan telkomiot.id ini, mungkin firasat saya tepat karena dinihari 19 juli setelah mumet bersama beberapa mahasiswa di siang nya, saya entah kenapa kembali mengambil alat lorawan yang tadi saya pake keliling dan mengganti parameter lorawan nya ke telkomiot. Hasilnya terdapat uplink data berupa ini:

   

Datanya yang diterima ternyata berupa hexa padahal yg saya kirim tulisan, sehingga harus di terjemahkan dulu di hexa to ascii via web:

Dan jika ingin mengirimkan data yg benar, maka data dikirim dalam format json {"key": value} seperti contoh script oprekan saya disini :

void LoRa_sendMessage()
{
  String text = "{\"cobafrek\":" + String(LoRa_frek_INA_923) +"}";
  LoRa_TxMode();
  LoRaWanPacket.clear();
  
  LoRaWanPacket.print(text);
  
  if (LoRaWanPacket.encode()) 
  {
    LoRa.beginPacket();
    LoRa.write(LoRaWanPacket.buffer(), LoRaWanPacket.length());
    LoRa.endPacket();
  }

  if( LoRa_frek_INA_923 >= LoRa_frek_INA_923_end ) LoRa_frek_INA_923 = LoRa_frek_INA_923_start;
  else LoRa_frek_INA_923 += LoRa_frek_step;
}

Hasilnya lumayan benar deh sekarang

Telkomiot ini masih gratis sejak bulan mei dan meng-claim memberikan trial 1 tahun GRATIS. Wahhh ayo dicoba saja deh mumpung kayaknya habis migrasi ini akan mulai berbayar. Selanjutnya saya akan mencoba kirim-kiriman data menggunakan LoRaWan telkom ini karena sepertinya saya tertarik untuk DOWNLINK data..Mumpung masih free tidak terbatas kayak antares dulu ! Tunggu yaa...

Read More

[raspi - yolo] Pendeteksi Orang Pada CCTV Menggunakan Raspi-Yolov5

 

Wah ternyata yolov5 sangat cocok digunakan pada raspberry pi 3 (baca disini dulu), jadi semangat nihh berbagi kegembiraan bersama pembaca. Jadi seperti yang dulu saat saya belajar yolo v3, ujungnya adalah deteksi orang pada cctv yang bisa dibaca disini. Langsung aja kita akan buat script untuk mengetestnya melalui cctv yang ada di kota malang yang lebih ringan daripada di jogja, alamat untuk memilih titiknya di: http://cctv.malangkota.go.id/

Dan script gabungan dari beberapa tulisan sebelumnya saya bagikan seperti berikut :

import sys
import time
import json
import torch
import cv2
import os
import contextlib
from pathlib import Path

os.environ['QT_QPA_PLATFORM_PLUGIN_PATH'] = '/usr/lib/x86_64-linux-gnu/qt5/plugins'


def draw_boxes(frame, results):
    # Get the bounding boxes, labels, and confidence scores
    bboxes = results.xyxyn[0][:, :-1].numpy()
    labels = results.xyxyn[0][:, -1].numpy()
    confidences = results.xyxyn[0][:, -2].numpy()

    # Define the COCO class label for 'person'
    PERSON_LABEL = 0

    # Draw boxes for persons only
    for bbox, label, confidence in zip(bboxes, labels, confidences):
        if label == PERSON_LABEL:
            x1, y1, x2, y2 = bbox[:4]
            x1 = int(x1 * frame.shape[1])
            y1 = int(y1 * frame.shape[0])
            x2 = int(x2 * frame.shape[1])
            y2 = int(y2 * frame.shape[0])
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
            cv2.putText(frame, f'Orang {confidence:.2f}', (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (200, 255, 0), 2)


def main(stream_source):
    start_time = time.time()
    # Load YOLOv5 model
    model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)

    # Open the video stream
    cap = cv2.VideoCapture(stream_source)
    if not cap.isOpened():
        print(f"Error: Could not open video stream {stream_source}")
        return

   # start_time = time.time()
    ret, frame = cap.read()
    if not ret:
        print("Error: Could not read frame")
        cap.release()
        return

    # Perform inference
    results = model(frame)

    # Extract bounding boxes and labels
    labels = results.xyxyn[0][:, -1].numpy()
    n_persons = sum(1 for label in labels if label == 0)  # label '0' typically corresponds to 'person' in COCO dataset

    # Calculate processing time
    processing_time = time.time() - start_time

    # Output results as JSON
    output = {
        "orang": n_persons,
        "time": round(processing_time, 2)
    }
    print(json.dumps(output))

    # Save the frame with bounding boxes as JPEG
   
    draw_boxes(frame, results)
    output_image_path = "/home/lampuku/yolov5/output.jpg"
    #results.render()  # This function draws bounding boxes on the frame
    cv2.imwrite(output_image_path, frame)

    cap.release()

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("Usage: python single_detect.py <stream_source>")
    else:
        stream_source = sys.argv[1]
        main(stream_source)

Hasilnya seperti berikut :

Waktu processing memang terlihat lama 23 detik, namun ini adalah waktu yg menunjukkan proses awal fusing layer dari yolov5. Namun jika melakukan deteksi selanjutnya cukup cepat ketika saya mencoba loop detect seperti berikut ini :

Wow dibawah 5 detik, cukup cepat deteksinya lhooo...Kalau ada yg berminat bisa menggabungkannya dengan node-red untuk membuat webui seperti gambar paling atas.

Read More

[raspi - yolo] Menguji Kemampuan Raspberry pi 3B Untuk Pengolahan Gambar Yolo V5

 

Setelah memanfaatkan kekuatan cloud computing untuk pengolahan gambar yolo v3, karena raspberry pi zero w resource nya terbatas (baca dulu disini), maka kini saatnya melakukan upgrade ke seri raspberry pi yang lebih tinggi yaitu raspi 3B yang memang support komputasi 64bit. Jadi berdasarkan bantuan chatGPT disarankan untuk mencoba yolo v5 dimana berbasis engine TORCH sehingga pas dijalankan di arm 64 bit. Jadi jangan lupa instal versi raspbbery pi melalui imagernya yaitu OS lite legacy (bullseye) 64 bit tanpa desktop. Jadi jangan sampai salah install OS karena memang sangat terbatas resource raspi 3B yang quad core CPU 64bit 1.2 Ghz dengan ram 1GB saja.

Jika sudah sukses instalasi OS maka bisa lanjut menghubungkan ke wifi dan gunakan putty untuk ssh ke ip raspi kamu dan jalankan urutan perintah berikut :

1. Update raspi kamu

sudo apt-get update
sudo apt-get upgrade

2. Install python, pip dan git

sudo apt-get install python3
sudo apt-get install python3-pip

sudo apt-get install git

3. Install yolo v5 beserta script requirements-nya

git clone https://github.com/ultralytics/yolov5
cd yolov5

pip3 install -r requirements.txt

4. Install pytorch beserta turunannya

sudo apt-get install libopenblas-dev libblas-dev m4 cmake cython python3-yaml

wget https://github.com/nmilosev/pytorch-arm-builds/releases/download/v1.4/pytorch-1.4.0a0+6bfc3e0-cp37-cp37m-linux_armv7l.whl
pip3 install torch-1.4.0a0+6bfc3e0-cp37-cp37m-linux_armv7l.whl

Kemudian jika instalasi selesai maka dapat menjalankan script contoh detect.py dan usahakan ukuran gambarnya tidak besar.

python detect.py --source nolkm.jpg

Hasilnya sebagai berikut, sangat memuaskan :

Hasil diatas mungkin bisa berbeda jika ada dependencies atau library yang gagal instal atau bahkan salah instal. Saya sangat mengandalkan chatGPT setiap ada kesalahan yang saya temukan dan agak lupa apa saja error yg muncul itu. Dan yang paling penting adalah menggunakan CPU untuk pengolahan gambar karena raspberry pi tidak punya GPU sekelas Nvidia untuk menjalankan torch.

Salah satu error yang saya ingat adalah, karena OS saya tanpa desktop maka runtime QT untuk menampilkan gambar akan selalu dianggap error :

qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "/home/lampuku/.local/lib/python3.9/site-packages/cv2/qt/plugins" even though it was found. This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.

Jadi hal ini disolusikan oleh chatGPT dengan melakukan instalasi manual "headless" sebagai berikut :

1. Install QT dan Xwindows environment. Ini mungkin tidak di perlukan jika kamu menggunakan desktop pada raspberry pi 3 kamu

sudo apt-get update
sudo apt-get install libgl1-mesa-glx libxcb-xinerama0

2. Jangan lupa menambahkan ini jika ingin menjalankan yolov5 pada script python

export QT_QPA_PLATFORM_PLUGIN_PATH=/usr/lib/x86_64-linux-gnu/qt5/plugins  # Adjust path as necessary

3. Jika diperlukan install open cv dengan headless environment

pip install opencv-python-headless

4. Lakukan pengecekan instalasi dengan script testing dibawah ini :

import torch
from PIL import Image

# Load YOLOv5 model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)

# Set image path
image_path = 'path/to/your/image.jpg'

# Perform inference
results = model(image_path)

# Display results
results.show()  # Displays the image with bounding boxes

# Optionally, save the results
results.save(save_dir='results/')  # Saves results in the 'results' directory

Dan jika hasilnya muncul seperti dibawah ini berarti instalasi sudah benar

Fusing layers...
YOLOv5s summary: 213 layers, 7225885 parameters, 0 gradients, 16.4 GFLOPs
Adding AutoShape...

Selanjutnya kita akan mendeteksi orang pada kamera cctv pada tulisan berikutnya disini.

Read More

[raspi - yolo] Google Colab & Ngrok - Mengolah Gambar Untuk Raspi Zero W

 

Cloud computing adalah hal yang cukup lumrah kita temui untuk membantu semua pekerjaan komputasi kita secara jarak jauh dan dimanapun. Saya sering menggunakan vps - google cloud - aws untuk membatu banyak pekerjaan saya dan kali ini saya akan gunakan google colab yang memiliki kemampuan menjalankan script python pada cloud. Permasalahannya adalah jika kita ingin mengakses google colab secara http API /Post /Get maka tidak akan ada IP public yang diberikan oleh google. Sehingga kita membutuhkan fasilitas tunneling "Gratis" bernama NGROK

Ngrok adalah alat yang memungkinkan pengembang untuk mengekspos server lokal ke internet dengan cara yang aman. Ini sangat berguna untuk pengembangan dan pengujian aplikasi web, terutama ketika perlu memeriksa bagaimana aplikasi tersebut berinteraksi dengan layanan eksternal atau perangkat lain yang tidak berada di jaringan lokal. 

Silahkan daftar dengan akun google kamu dan jangan lupa dapatkan authtoken tunneling untuk praktek yang aakan saya contohkan dibawah.

Pada google colab, setelah terkoneksi dengan benar, maka dibutuhkan mengunduh file konfigurasi yolo v3 seperti berikut ini 

!wget https://pjreddie.com/media/files/yolov3.weights

!wget https://raw.githubusercontent.com/pjreddie/darknet/master/cfg/yolov3.cfg

!wget https://raw.githubusercontent.com/pjreddie/darknet/master/data/coco.names

Setellah itu perlu menginstall library python untuk  pyngrok sedangkan flask sudah tersedia secara default

!pip install pyngrok

Dan response nya seperti berikut

Collecting pyngrok Downloading pyngrok-7.1.6-py3-none-any.whl (22 kB) Requirement already satisfied: PyYAML>=5.1 in /usr/local/lib/python3.10/dist-packages (from pyngrok) (6.0.1) Installing collected packages: pyngrok Successfully installed pyngrok-7.1.6

Brikut ini adalah script python untuk mengolah gambar via flask yang mirip dengan tulisan sebelumnya disini . Jangan lupa mengambil authtoken tunnel di dashbor ngrok

from flask import Flask, request, jsonify
import cv2
import numpy as np
import time
from pyngrok import ngrok
import threading


# Replace 'your_authtoken' with your actual authtoken from ngrok dashboard
ngrok.set_auth_token('xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx')
app = Flask(__name__)

yolo = cv2.dnn.readNet("yolov3.weights", "yolov3.cfg")
classes = []
with open("coco.names", "r") as file:
    classes = [line.strip() for line in file.readlines()]

layer_names = yolo.getLayerNames()
output_layers = [layer_names[i - 1] for i in yolo.getUnconnectedOutLayers()]
colorRed = (0,0,255)
colorGreen = (0,255,0)
# #Loading Images
def detect_objects(img):
    starting_time = time.time()
    height, width, channels = img.shape
    # # Detecting objects
    blob = cv2.dnn.blobFromImage(img, 0.00392, (255, 255), (0, 0, 0), True, crop=False)
    yolo.setInput(blob)
    outputs = yolo.forward(output_layers)
    class_ids = []
    confidences = []
    boxes = []
    for output in outputs:
        for detection in output:
            scores = detection[5:]
            class_id = np.argmax(scores)
            confidence = scores[class_id]
            if confidence > 0.4 and class_id == 0 : # 0 = person
                center_x = int(detection[0] * width)
                center_y = int(detection[1] * height)
                w = int(detection[2] * width)
                h = int(detection[3] * height)
                x = int(center_x - w / 2)
                y = int(center_y - h / 2)
                boxes.append([x, y, w, h])
                confidences.append(float(confidence))
                class_ids.append(class_id)

    indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.5, 0.4)
    org = 0
    mob = 0
    mot = 0
    for i in range(len(boxes)):
        if i in indexes:
            if class_ids[i] == 0:
                org = org + 1
                label = 'orang : ' + repr(org)
            elif class_ids[i] == 2:
                mob = mob + 1
                label = 'mobil : ' + repr(mob)
            elif class_ids[i] == 3:
                mot = mot + 1
                label = 'motor : ' + repr(mot)
            x, y, w, h = boxes[i]
            #label = str(classes[class_ids[i]]) + ', x=' +repr(x) + ',y=' +repr(y)
            #label = str(classes[class_ids[i]]) + '- no: ' + repr(i+1)
            cv2.rectangle(img, (x, y), (x + w, y + h), colorGreen, 3)
            cv2.putText(img, label, (x, y -5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255,255,255) )



    print("{")
    print(f"\"Jumlah Orang\": {org},")
    print(f"\"Jumlah Mobil\": {mob},")
    print(f"\"Jumlah Motor\": {mot},")
    elapsed_time = time.time() - starting_time
    print("\"processing time\":" + repr(elapsed_time)  )
    print("}")
    #cv2.imshow("Image", img)
    cv2.imwrite("output.jpg",img)
    #cv2.waitKey(0)
    #cv2.destroyAllWindows()
    return {"Orang": org, "Mobil": mob, "Motor": mot, "time": elapsed_time }
@app.route("/detect", methods=["POST"])
def detect():
    file = request.files["image"]
    npimg = np.fromfile(file, np.uint8)
    image = cv2.imdecode(npimg, cv2.IMREAD_COLOR)
    # Measure start time
    start_time = time.time()
    result = detect_objects(image)
    # Measure end time
    end_time = time.time()
    # Calculate processing time
    processing_time = end_time - start_time
    result['processing_time'] = float(processing_time)  # Ensure it's a float
    return jsonify(result)

# Function to run Flask server
def run_flask():
    app.run(port=5000)
# Start Flask server in a separate thread
flask_thread = threading.Thread(target=run_flask)
flask_thread.start()
# Set up ngrok tunnel
public_url = ngrok.connect(5000)
print("Flask server is running at:", public_url)

Sedangkan script pada raspberry pi zero tetap sama dengan tulisan sebelumnya. Jalankan script pada google colab sampai muncul alamat public dari ngrok tunneling.

 * Serving Flask app '__main__'
 * Debug mode: off

INFO:werkzeug:WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
 * Running on http://127.0.0.1:5000
INFO:werkzeug:Press CTRL+C to quit

Flask server is running at: NgrokTunnel: "https://029a-34-105-62-129.ngrok-free.app" -> "http://localhost:5000"

Hasilnya luar biasa cepat dan gratis pula !

Dikarenakan alamat publik dari tunneling ngrok berubah setiap kali script dijalankan pada google colab, maka saya sudah berhasil mengakalinya dengan memanfaatkan MQTT sebagai pengirim alamat tunnel nya dan dapat digunakan oleh banyak pengguna semisal banyak raspberry pi zero w + cam di beberapa titik lampu. Ini akan saya bahas jika ada yang tertarik dengan tulisan saya ini (by request).

SELAMAT BELAJAR !

Read More