跳到主要內容

PubSub入門

Cloud PubSub是Google Cloud Platform上的一個Publish Subscriber的服務,讓使用者可以透過API將資料放到PubSub上,並且透過建立Subscriber讓其他的城市可以讀取該資料做進一步的處理...

PubSub的特性如下:
  • 作爲應用程式服務的中介,供連接異質性來源的系統作為資料傳遞之用
  • 支援Push與Pull兩種方式,其中Push可以讓使用者設定Push URL,讓系統可以直接再接收到訊息時,呼叫push url
  • 提供“at least once” delivery的送達保證,並且資料在傳輸過程中均有加密保護
  • PubSub是一個全球化的服務,並且會依照使用者之彈性需求自動調整資源
pubsub push vs pull model概念上,topic是讓您放您資料的位置,然後需要在該topic下面建立subscriber,讓程式可以在該subscriber下讀取到放置在該topic的資料,再透過ACK這個動作回覆系統,確認已經被讀取...

建立topic

$ gcloud --format=json alpha pubsub topics create my-topic

[
  {
    "reason": "",
    "success": true,
    "topicId": "projects/sunny-573/topics/my-topic"
  }
]

列表topics

$ gcloud alpha pubsub topics list
---
topic: projects/sunny-573/topics/my-topic
topicId: my-topic
...

Push訊息到pubsub

$ gcloud alpha pubsub topics publish my-topic '{"aaa":123,"bbb":223}'

為topic建立一個subscriber

$ gcloud alpha pubsub subscriptions create sub002 --topic my-topic
---
ackDeadlineSeconds: 10
pushEndpoint: null
reason: ''
subscriptionId: projects/sunny-573/subscriptions/sub002
success: true
topic: projects/sunny-573/topics/my-topic
type: push

列表subscriber

$ gcloud alpha pubsub subscriptions list
┌───────────┬──────────────┬──────────┬──────┬──────────────┐
│  PROJECT  │ SUBSCRIPTION │  TOPIC   │ TYPE │ ACK_DEADLINE │
├───────────┼──────────────┼──────────┼──────┼──────────────┤
│ sunny-573 │ sub001       │ my-topic │ PULL │ 10           │
│ sunny-573 │ sub002       │ my-topic │ PULL │ 10           │
│ sunny-573 │ sub01        │ test01   │ PUSH │ 10           │
│ sunny-573 │ sunny        │ sunny    │ PULL │ 10           │
└───────────┴──────────────┴──────────┴──────┴──────────────┘

從subscribers取資料

取資料可以分成兩個動作:讀取、回覆ACK,當只有讀取動作時,其他針對同subscriber的查詢,仍可以查詢得到資料... 其中,該筆訊息會帶ack_id,可以讓未來針對該ack_id來做回覆ack的動作。
$ gcloud alpha pubsub subscriptions pull sub001
┌───────────────────────┬────────────────┬────────────┬────────────────────────────────┐
│          DATA         │   MESSAGE_ID   │ ATTRIBUTES │     ACK_ID                     │
├───────────────────────┼────────────────┼────────────┼────────────────────────────────┤
│ {"aaa":123,"bbb":223} │ 43961024144056 │            │ MTJFQV5AEkw6...4cqZhg9XxJLLD5- │
└───────────────────────┴────────────────┴────────────┴────────────────────────────────┘
下面是針對ack_id做回覆的動作:
$ gcloud alpha pubsub subscriptions ack sub001 MkVBXkASTDo...JLLD5-MQ
ackIds:
- MkVBXkASTDo...JLLD5-MQ
subscriptionId: projects/sunny-573/subscriptions/sub001
如果嫌麻煩... 在gcloud指令有支援--auto-ack,可以針對request data時候,直接在request完成回覆ack,也就是告訴該subscriber這筆資料已經接收,其他人就無法在讀取該筆資料... 下面是針對subscriber加上auto-ack的結果,原則上ack完之後,ack_id將會消失。
$ gcloud alpha pubsub subscriptions pull sub001 --auto-ack
┌───────────────────────┬────────────────┬────────────┐
│          DATA         │   MESSAGE_ID   │ ATTRIBUTES │
├───────────────────────┼────────────────┼────────────┤
│ {"aaa":123,"bbb":423} │ 43961235494393 │            │
└───────────────────────┴────────────────┴────────────┘

刪除測試資源

在測試完成後,建議就順手將建立的資源刪除,下面是刪除subscriber與topic的指令:
刪除subscriber:
$ gcloud --format=json alpha pubsub subscriptions delete sub002

[
  [
    "projects/sunny-573/subscriptions/sub002"
  ],
  []
]
刪除topic:
$ gcloud --format=json alpha pubsub topics delete my-topic
[
  {
    "reason": "",
    "success": true,
    "topicId": "projects/sunny-573/topics/my-topic"
  }
]

注意事項

  • 由於pubsub服務的特性是保證至少一次獨取,因此不排除會發生最終同步前重複獨取料的問題。如果擔心這類問題,建議透過中介服務來擷取pubsub資料,然後再做第二層的分派處理。
  • 由於pubsub支援一對多的應用,如果在一個topic中設定一個以上的subscriber時候,則每個subscriber會收到一樣的訊息。

參考

留言

這個網誌中的熱門文章

Google指令碼基本操作介紹 - Web Server篇

Google的指令碼是什麼東西呢?!原則上他就是Google的一份靜態檔案,但是透過Google的雲端服務平台的一些能力,將靜態檔案內的scriptlet片段拉到Google的後端作運算,寫起來就像在寫JavaScript(這邊說Node.js可能比較貼切,因為同為server side language)或JSP,而在scriptlet片段中,則可以操作許多Google的API服務,甚至他提供你連接JDBC的能力、URL呼叫的能力...等,宛如就是一套完整的雲端程式語言(這樣說應該不為過拉,這真是個創新!),有並駕於App Engine的氣勢喔!
Google指令碼的範圍很廣,筆者也仍在摸索中,之前介紹過透過Sheet+指令碼做一個簡單的URL監控(這裡),而本篇簡單介紹一下指令碼如何製作一個Web Server(嚴格說起來是Web Page拉,但是具備Server端運作功能喔!)。您將可以體驗到No-Hosting Web Server的威力!
指令碼是Google Drive的一個服務,Google將指令碼(Code)以檔案方式寄存在Drive中,類似的靜態檔案服務的應用,最近滿火紅的!

首先開啟指令碼時候,選擇"作為網路應用程式的指令碼",檔案開啟後,會有愈設定程式碼片段供編輯


程式碼片段大致上如下,是一個doGet function,Web base的指令碼需要認得doGet()作為server的進入點 如果選擇到空白專案的話,只要把doGet function建上即可

作為一個Cloud IDE,Google當然也有把Code Hint擺上來,透過簡單的提示,寫啟程是來就更容易拉!

而Web部分物件的建立主要是透過HtmlService這個模組來進行操作,我們利用他來output html, load static html page, load template html page..等,範例如下:
Output HTML: // Script-as-app template.
function doGet(e) {
  return HtmlService.createHtmlOutput("<h1>HELLO!</h1>");
}
透過上HtmlService的createHtmlOutput的功能,…

透過Google指令碼,存取Google Cloud SQL

既然Cloud SQL提供了MySQL的Feature 那麼透過指令碼(Apps Script)來存取Cloud SQL應該也是OK的拉! 這邊介紹一下在指令碼中操作的方式
首先要確認一下您在Cloud SQL中申請的DB Instance名稱 而名稱可以在API Console中找到

此範例是屬於手動執行的部份,因此這邊建一個test function來收容db query的code...
function test(){
  var conn = Jdbc.getCloudSqlConnection("jdbc:google:rdbms://[db instance name]/[db name]");
  var stmt = conn.createStatement();
  stmt.setMaxRows(100);
  var start = new Date();
  var sql = "select * from member_info";
  var rs = stmt.executeQuery(sql);
  Logger.log('SQL:' + sql);
  while(rs.next()){
    Logger.log('['+new Date().toString() + ']' + rs.getString(1) + '::' + rs.getString(2) );
  }
}
Project看起來像這樣:

此時,在工具列選擇要執行的Function後,點選執行按鈕,就可以執行撈取Cloud SQL的動作了...

執行時候會發現Google會跟您要求受權,請user同意讓Script Editor來執行這部份程式,同意後才可以執行... 這部份是說,如果將來把這段程式碼放到Web Service中時候,該Web Service App也需要經過授權才能使用...

New Google Form Feature...

Google這次在Google Form上面做了一些改變...原本的Google Form背後都會連結到一個特定的表單(一個Form一個表單) 這次的修改就是針對這部份的限制做改善 目前可以透過Form編輯的頁面上"選擇回憶目的地"來選擇...



這邊是選擇的畫面,可以選擇新的試算表或是選擇現有的試算表中的新工作表...


如此一來,表單的運作將更具彈性拉!
詳細的Google說明,可以在這邊找到:https://support.google.com/drive/bin/answer.py?hl=en&answer=2917686&p=forms_response