29th Monthly Technical Session (MTS) Report

29th Monthly Technical Session (MTS) was held on December 16th. MTS is a knowledge sharing event, in which HDE members present some topics and have QA sessions, both in English.


The moderator of the 29th MTS was Shihan.

The first topic was 'Global Internship Program (GIP) Annual Report 2016' by Yuri-san. She explained all that she had done in the past year, showed how much we had grown compared to the year before, and shared the lessons she learned along the way. She also talked about the future, specifically about the strategies she would like to try in the next year.


The second topic was 'Play with Favicon' by Shinohara-san. Favicons are websites' icons. We can see it all over our browsers, usually in tabs, bookmarks, address bar, history, etc. Shinohara-san explained how he implemented the Favicon of one of our services. He also showed some examples of dynamic favicons, one of which was a fully-functional Tetris game!


The third topic was a report of re:Invent 2016 by Arakawa-san and Okubo-san. As you may have already known, re:Invent is Amazon Web Services' global customer and partner conference, which is held annually. Arakawa-san explained in detail the session that impressed him the most, Tuesday Night Live with James Hamilton. He also talked about re:Invent Central, in which technologies developed by companies that sponsored re:Invent are exhibited.


On the other hand, Okubo-san shared about networking, experiences, and learning he had during the event. He told us how he got to exchange lots of business cards. He also showed some pictures of meals, venues, and learning sessions. The session that impressed him the most was How Netflix Achieves Email Delivery at Global Scale with Amazon SES.


The fourth topic was presented by David-san. He was one of our Global Internship Program (GIP) participants. He shared lots of lessons he had learned from his working experience so far. He specifically focused on the project management approaches he had tried before, such as stand up meetings, GitHub issues, and others. For each of those approaches, he explained both its advantages and disadvantages, and what he thought about it.


The fifth topic was 'An Introduction to WebRTC' by Alice-san. She was the other one of our GIP participants. WebRTC is the union of standards, protocols, and APIs which enables real-time communication between browsers. Advantages of WebRTC comes from its security, speed, voice and video engines, and the fact that it is open source and patent-free. She also explained WebRTC protocol stack and browser support.


The day of 29th MTS was also the last day of David-san's and Alice-san's internships. So, we had a small event for them, in which they got some souvenirs and shared their impression of the seven-week internship. Thank you very much for your good work, David-san and Alice-san! We're happy to have you with us.


As usual, we had a party afterwards.


28th Monthly Technical Session (MTS) Report

28th Monthly Technical Session (MTS) was held on November 18th. MTS is a knowledge sharing event, in which HDE members present some topics and have QA sessions, both in English.


The moderator of 28th MTS was Bagus.


The first topic was a workshop of an HDE service, by Hayashi-san. He began by explaining what the service is and the motivation behind its development. So that other members can help test the service, Hayashi-san demonstrated how to install and use the service. He also explained how to uninstall the service. To close the presentation, Hayashi-san asked the audience to contact him if they find some problems in the service or if they have some ideas about improving the service.


The second topic was a comparison between Amazon Simple Email Service (SES) and an HDE service, by Okubo-san. According to his observation, SES and the HDE service differs in several aspects, which are verifying from addresses, sending emails, moving out of sandbox, handling bounced emails, and suppression list. Okubo-san concluded that SES is a good framework for transactional emails. On the other hand, the HDE service is not a framework, but it's able to send various types of emails.


The third topic was the logging and monitoring aspect of an HDE Service, by Jeffrey-san. This was a continuation of his presentation in the 25th MTS. Jeffrey-san began by explaining the logging approach that is used in his project. He spent more time explaining monitoring, because there are some issues related to it that he had to resolve. He described each issue and its solutions in detail. Because there was still time, he ended the presentation by explaining an automated task related to monitoring.


The fourth topic was task automation using Microsoft Azure, by Imaizumi-san. The tasks he intended to automate are the ones related to deploying HDE One services. Imaizumi-san began by explaining the motivation behind implementing this solution. He then showed the system architecture and demonstrated how the solution would work. He ended the presentation by explaining the relationship of his solution with other deployment task automation solutions in HDE.


The fifth topic was the internals of an HDE service, by Tanabe-san. Because there were lots of technical details to be explained, this presentation was longer than the others. Tanabe-san began by comparing this service with its predecessor. He then introduced the members of the project, and explained what each of the members is working on. He continued by explaining the system architecture and key concepts of the design process. Then, he explained each component of the system in detail. After that, he talked about release, deployment, and monitoring of the service. He ended the presentation by addressing lessons learned and future works.


The sixth topic was 'Genetics 2.0' by Alice-san. She is one of our current Global Internship Program (GIP) participants. Alice-san has an undergraduate degree in biomedical science and has 4 years worth of work experience in the field of molecular biology. She talked about applications of computer science in genetics. First, there is Cello, with which users can generate DNA sequences that describe logic functions for control of gene expression in bacteria. Second, machine learning is sometimes used in researches, such as to model gene/protein interactions and identify genetic risk factors.


The last topic was 'Wrap those Naked Variables for Good' by David-san. He is the other one of our current GIP participants. Naked values are values that may sometimes be null. These values are quite troublesome, because functions may not tell that they return such values, they cause Null Pointer Exceptions, and they make codes full of if not null statements. David-san explained a pattern that helps handling this, which is Maybe Box. It tells us that a function might return a value. Just(a) is a box containing a value, while Nothing is an empty box. To handle both cases, we can use map. With this, functions will only be applied to Just(a), never to Nothing.


As usual, we had a party afterwards.




先日、社内の技術勉強会で、なりすましメールを防ぐための技術 DMARC についてお話させて頂きました。 今回はこの話をまとめてブログ記事にしたいと思います。


DMARC(Domain-based Message Authentication, Reporting & Conformance)は、 送信ドメイン認証技術であるSPFとDKIMをもちいてなりすましメールの判定を行います。 メール受信者がなりすましメールを受信した場合に、これをドメイン所有者に通知する仕組みと、 なりすましメールをどのように取り扱うべきかをドメイン所有者が宣言する仕組みを提供します。




  • Aggregate Reports : メール送信者のドメインから受信したメール数と認証結果のサマリーレポートです。

  • Failure Reports : 送信ドメイン認証が失敗した場合、リアルタイムに報告されます。 送信IPや、メッセージIDなど認証に失敗したメールを調査するために必要な情報が含まれます。


メール送信者は、SPFとDKIMを用いて自身が送信したメールをメール受信者に認証してもらいます。 認証に失敗した場合、メールをどのように取り扱ってほしいかを3つのポリシーのいずれかで宣言することができます。

  • none : 何もしない。

  • quarantine : 隔離する(迷惑メールフォルダに入れる)。

  • reject : 受信しない(SMTPエラーとする)。


企業ドメインでは複数のシステムからメールを送信していることが考えられ、 送信ドメイン認証に未対応のシステムがあったり、 DKIMキーやSPFが適切に公開されていないなどを理由とした認証エラーが発生するリスクがあります。


  1. まず最初にDKIMとSPFを導入します。

  2. Gmail や Yahoo メールなどでメールを受信して認証が成功することを確認します。

  3. ポリシーを"none"として、DMARCレコードを公開し、Aggregate Reports を受信します。

  4. Aggregate Reports を分析して全てのメール送信先ドメインの認証結果を確認します。

  5. DKIMとSPFの運用が適切であることが確認できたら、DMARCポリシーを"none"から"quarantine", "reject"へ変更します。


米国では、2007年に PayPal が DMARC を導入し、なりすましメールを激減させることができたというレポートがあります。

DMARCのゴールは、"reject"を宣言してなりすましメールをユーザーのメールボックスに届けないことですが、 Aggregate Reports を受信し、企業ドメインに対する送信ドメイン認証の対応状況を分析するなど、 メールの到達性を改善するための有効なツールとして利用できるかと思います。

また、Failure Reports を受信することで、 認証エラーの発生を検知し、原因の調査と改善を図るなど送信ドメイン認証の運用を適切に維持できると考えます。


DMARCを導入するためには、まず送信ドメイン認証(SPF,DKIM)を導入する必要があります。 私どもが提供するメール配信サービス Customers Mail Cloud は、 既存のメールサーバーにメールリレーの設定をするだけで利用することができ、DKIMとSPFに対応することができます。

また、DMARC導入に関するご相談も承っております。 興味がありましたら問い合わせフォームよりお気軽にご相談ください。

27th Monthly Technical Session (MTS) Report

27th Monthly Technical Session (MTS) was held on October 21st. MTS is a knowledge sharing event, in which HDE members present some topics and have a QA session in English.

The moderator of 27th MTS was Hayashi-san. f:id:bagus-rahman:20161026204016j:plain

The first topic was 'Report of CX Summit in Singapore' by Abiko-san. He began by explaining what customer success is and how to measure it. One of customer success measurements is Net Promoter Score (NPS). To put it simply, NPS determines how likely it is for customers to recommend a product or service to others. Abiko-san had joined the summit to learn about how to raise our NPS. f:id:bagus-rahman:20161026204159j:plain

The second topic was 'Brief Introduction of DMARC reports' by Okubo-san. This topic was the continuation of 'Brief Introduction of DMARC', that Okubo-san had presented on the 26th MTS. As a review, DMARC is an email authentication protocol. This time, Okubo-san mainly explained DMARC's aggregate and forensic reports. Aggregate reports describe which emails are authenticated, and which are not. Forensic reports describe emails that doesn't pass the authentication, in finer detail. Both are useful information in maintaining the stability of email service. f:id:bagus-rahman:20161026210019j:plain

The third topic was 'Introduction to Azure AD Connect' by Sumi-san. He focused on explaining how to install Azure AD Connect and how to synchronise data from Active Directory Domain Service to Azure AD. There are similar tools to Azure AD Connect, such as Azure Active Directory Sync (DirSync) and Azure AD Sync. However, these tools will be deprecated soon, on April 13th, 2017. This is one of the reasons why this topic is important. f:id:bagus-rahman:20161026210918j:plain

The fourth topic was presented by Doi-san. This was the third special topic, which had started since the 25th MTS. These topics are a way for us to share knowledge about internal projects. Because of their special nature, these topics are presented in 25 minutes, almost twice as much time as the other topics. This time, Doi-san explained the purpose, architecture, monitoring, deployment, and future works of the project he's working on. f:id:bagus-rahman:20161026211014j:plain

The last topic was 'Wi-Fi Protected Setup' by Michael-san. He is our current Global Internship Program (GIP) participant. This topic is actually a part of his bachelor's thesis. Wi-Fi Protected Setup (WPS) makes connecting to a Wi-Fi access point easier, because users don't need to know its password. Michael-san explained some WPS approaches, which are push-button and PIN. Push-button's weakness is once someone is able to physically access the access point, then they can extract its password. PIN's weakness is it can be guessed using a brute force approach. To solve this, PIN attempt should be limited. f:id:bagus-rahman:20161026211158j:plain

As usual, we had a party afterwards. f:id:bagus-rahman:20161027125039j:plain

第26回 Monthly Technical Session (MTS) レポート

9/16に第26回 Monthly Technical Session (MTS)が行われました。 MTSは、主に技術的な興味関心、また現在行っていることから得られた知見を共有するための取り組みで、司会進行から質疑応答まで全編通して英語で行われる社内勉強会です。



トップバッッターは古川さん、複数のAWS lamdbaを管理するために選定したツールと、解決し切れなかった現状の課題を共有してくれました。lamvery, apex, Serverless Framework, fluctなど様々ある中、プロジェクトでは10近くあるAWS lambdaをデプロイ先をstagingとproductionとで切り替えながら管理する必要があるため、今回はapexを採用したことを紹介してくれました。しかし、terraformで管理している別のAWSリソースとapexで管理しているAWS lambda間のインテグレーションについては上手く解決できたわけではなく、まだまだ解決策を模索中です。


2番手の大久保さんには、SPFやDKIMを利用して送信ドメイン認証を行うことができるDMARCプロトコルの紹介をしていただきました。弊社製品のCustomers Mail Cloudが提供する機能の一部である送信者認証も、このプロトコルを基に提供されており、正しく送信者認証を設定するにはDKIM設定を慎重にやる必要があります。発表では、認証の設定が正しいか一目でわかるように、DMARCのレポートを可視化する機能の実装を今後の展望として話してくれました。


3番手は、先月末にマレーシアで行われたPyCon MY 2016に参加してきたshihanさんが、カンファレンスのレポートをしてくれました。今回、HDEはゴールドスポンサーシップとしてPyCon MY 2016に協賛しました。また、弊社からjonasさんがスピーカーとして登壇したことや、津田さんが来年に行われるPyCon APAC 2017 in Kuala LumpurについてLTを行ったこと、HDEのブースでのGIPインターン案内の様子などを、写真と共にレポートとしてくれました。




5番手のBagusさんには、前回に引き続き、25分枠でプロジェクトの全体像を共有する試みの第2弾として、次期リリースシステムの自動化について共有してもらいました。これまでのリリースシステム自動化は、既存のjenkins jobにjenkins jobを継ぎ足す形でほとんどのリリース作業を自動化することに成功しましたが、システムメンテナンスのコスト、古いjenkins用EC2インスタンスの管理、リリーススピードなど問題を抱えています。次期システムでは、各コンポーネントをAWS lambda+DynamoDB+API Gatewayの構成に置き換えることで、現行システムが抱える問題の解決とさらなる自動化を目指します。


6番手の篠原さんには、プロジェクトでモバイルUIの開発に用いているRiot.jsの紹介をしていただきました。 WebUIに用いているAngularJSが、複雑な要件に耐える多機能なフレームワークであるのに対して、Riot.jsの強みとして、軽量、高い可読性、レンダリングのスピード、モバイルUIに対して必要十分な機能を持っている点を挙げて両者の違いを紹介していただきました。Q&Aでは、JavaScriptフレームワークの選定基準について白熱した議論が繰り広げられました。


ラストは現在GIPインターン中のAkiraさん、P2Pベースの分散ファイルシステムであるIPFS (the InterPlanetary File System)の紹介をしていただきました。一度ファイルをアップロードすると全世界に公開されて、二度と消せないこの豪快なシステムは、READMEで自ら It is crazy. と認めています。Q&Aでも、悪意のある人が機密情報をアップロードしたらどうなるんだと言った議論が盛り上がりました。


終わった後はAfter-Party!! 今回は特に参加者が多い回となりました。また、これが今期最後のMTSでした。来期以降も、様々なトピックを持ち寄って毎月開催を予定しています。


第25回 Monthly Technical Session (MTS) レポート

8/19に第25回 Monthly Technical Session (MTS)が行われました。 MTSは、主に技術的な興味関心、また現在行っていることから得られた知見を共有するための取り組みで、司会進行から質疑応答まで全編通して英語で行われる社内勉強会です。










4番手は田代さん、Elasticsearchを用いたログ解析について話してくれました。サービスの使用状況を解析して、kibana上で可視化する例や、Google Sheetsと連携してリスト化する例などを紹介していただきました。




6番手のBumiさんには、メールをOutlook Personal Folders (PST) 形式でエクスポートするライブラリの開発について紹介していただきました。エクスポートしたメールをOutlook上で開くには、メールのフォーマットを.pst形式に変換する必要があり、これを行うライブラリを実装するにあたって知る必要がある複雑なPSTのデータ構造について解説してくれました。




第24回 Monthly Technical Session (MTS) レポート

7/22に第24回 Monthly Technical Session (MTS)が行われました。 MTSは、主に技術的な興味関心、また現在行っていることから得られた知見を共有するための取り組みで、司会進行から質疑応答まで全編通して英語で行われる社内勉強会です。



トップバッターの楠本さんは、学生時代に南極で行った研究について紹介してくれました。 現地では南極の大気の情報集めるバルーンと連携して、情報をストレージに溜め込む装置のソフトウェアをメンテナンスしていたそうです。 Q&Aでは、バルーンの回収はどうするのかとの問いに対して、気流に乗って漂うだけで、最後はどこかに落ちる仕様との回答に、一同驚きの様子でした。


2番手の林さんは、開発バージョンで発生したメモリリークの原因を突き止めるために使用したpythonのツール群 (memory_profiler, Pympler, gc) をデモを交えつつ紹介してくれました。環境の制約によっては各ツールが有効でない場合もあるので、状況や目的に応じて使い分ける必要があります。


前半のセッションの最後は田邊さん。サーバレスアーキテクチャで実現した監視システムについて。CloudWatch Eventsを契機にAPI Gateway, lambda, SES, SNS, CloudWatch Metricsなどが連携して、閾値を超えた監視項目がslackへ通知される実例を示してくれました。 これによって"誰が監視システムを監視するのか問題"を解消しつつ*1、lambdaによる自由なシステム監視とそのメトリクス可視化という大きなメリットが得られました。


休憩を挟んで4番手は牧さん。"kubernetes in 20 minutes"というタイトルで、k8sの知見を共有してくれました。k8sとは何か、またk8sに触れるに当たって理解しておく必要があるCluster, Node, Pod, Replica Set, Deployment, Services, Secrets, ConfigMaps, Ingress, DaemonSets, PetSetsなどの概念がどのような役割でお互いどのような関係を持つのかをわかりやすく解説してくれました。アップデートの激しさも相まって、便利だけれども一筋縄ではいかない難しさがあるようです。


5番手は先月からGIPインターン中のTze-Chenさん。現在大学の研究で使っているHadoopについて。Googleが発表した2つの論文 ( The Google File System , MapReduce: Simplified Data Processing on Large Clusters) によって明らかになったHadoopがどのような目的で作られたのか、facebookが管理する世界最大規模のHadoopクラスタや、MapReduceの仕組みなど、Hadoopの概要を説明してくれました。




発表の後はAfter-Party!! MTSはエンジニア同士の知見共有の場として開かれていますが、このAfter-PartyもまたGIPインターンも含めた社内の誰でも参加可能な交流の場として開かれています。


ちなみに、この日はPokemon Goのリリース日だったので、会場は完全にPokemon Go試遊会と化していました。