おじゃまぷよ系エンジニアメモ

主にスマホネイティブ関連Tips。たまにWebも書きたい。お腹はぷよぷよ

isucon8本戦に出たものの惨敗しました

ものすごくありがたいことにisucon8の本戦まで出場することできました。 ぶっちゃけチームメンバーが優秀すぎて自分はほとんど何もできなかったけど!

本戦出場の証。アイコンは先日の技術書典5で出した本のキャラクター。 f:id:masahide318:20181022194854j:plain

本戦でやったこと

クエリ改善

SELECT ORDER BYでフルスキャンするクエリをLIMIT 1つけて改善する。 しかしPHPのソース的にパフォーマンスにはそこまで影響しなかった。

諸々キャッシュしようとする

とりあえずredisで最高買値と最高売値をキャッシュしようとする
キャッシュしたと思ったらベンチマークコケてうまくいかない…キャッシュ削除のタイミングとかいろいろ悪かったかもしれない。 泥沼にハマりそうだったので途中で諦める (ほんと時間を無駄にした…申し訳ない)

N+1問題に対応

for文ぶんまわしでパフォーマンス悪いところがあったので
SQLのクエリ修正したり、INDEX貼り直したりする。プログラム側のデータの詰替えも修正する。 これでちょっとスコアあがる。2200ぐらいになった。

他のメンバーの修正をマージする

ぶっちゃけ自分が出来たのはこれぐらいで、あとは他のメンバーの修正をマージしてフィニッシュしました。 DB専用サーバーを1個別サーバーに設けたり、nginx側でWebサーバー負荷分散したりしましたが最終的に4200ほどに落ち着きました。 最後ベンチマークうまく動かず超ギリギリで最後動いたw f:id:masahide318:20181022200901p:plain

反省点

反省が多すぎて困る…

  • インフラはチームメンバーにお任せしていたが僕はdockerになれてないのですでに厳しかった。
  • キャッシュは早々に諦めるべきだったなぁと…そもそも効果うすそうだったし。
  • logのbulk_sendの存在に終了30分前ぐらいに気づいた…辛い
  • enable_shareの存在に気づかず最後まで放置してた
  • 途中でDataGripからisuconサーバーのmysqlに繋がらなくなりパニック

感想

  • イベントは予選は本戦もめっちゃ楽しかったです。休日潰してでも行く価値あり!
  • 本戦振り返ってみるともっと色々できただろ!って反省が多くてしばらくずっと悔しい思いしてましたw
  • でも予選通過は17倍ぐらいの倍率だったらしいので、初めてのisucon挑戦で本戦まで行けただけでも良かったとしよう!
  • dockerを捨ててるチームがあって、なるほどな…って思った。めっちゃ良い判断だと思った
  • ちゃんとソースとドキュメントは読もう!思わぬ落とし穴が潜んでるぞ!

カップケーキ美味しかったです。その他のケータリングもどれも美味しくて運営さまには感謝です。 f:id:masahide318:20181022204555j:plain

技術書典5に「テストが書けない人のためのAndroid MVP」を出展してきました

技術書典5無事に終わりました。足を運んでくださった皆様ありがとうございます。
「テストが書けない人のためのAndroid MVP」という本を出展していました。
f:id:masahide318:20181008200153j:plain
f:id:masahide318:20181008203441j:plain

そもそもなぜこの本を書こうとしたのか

事の発端はDroidKaigiに行った時に、なんとなくチームメンバーとテストコード書きたいなぁとざっくりした話になって
クリーンアーキテクチャやMVVMやMVPがある中で最終的に特別なライブラリを必要とせず、設計上やりすぎ感なく丁度いいであろうという理由でMVPに決まりました。
とはいえ実際にMVPっぽく書いてみたものの結構人によってMVPの認識の違いがあったり、元々存在する便利なシングルトンやUtilクラスが邪魔でテスト書きたいけどうまくいかない部分が出てきたのでそのあたりを解決するにはどうすればいいのかと考え、やってみた結果をこの本にまとめました。
DIとか使えばいいじゃんっていう安直な考えをせず、普通にプログラムを書いていかにJUnitでテストを書けるようにするかがコンセプトになってます。
レガシーコード改善ガイドを参考にしたものが多いのですが、Androidのあるあるな依存を排除するのにかなり参考になる部分が多かったので助かりました。

本書で書ききれなかったこと

本書ではマッチョなActivityをまずはMVPに置き換えてみるということを主軸にしたので、その後の発展としてMVPで依存を切り離したものMVVMに移行したいときはどうするかなど、その後の発展部分については書けなかったのでどこかで余裕があれば電子版などに追加していきたいと考えております……

出展してみての感想

今更MVPは若干古いのであまり多くの人にウケるものではないですが、話を聞いているとやはりテストコードを書けない人やActivityにがっつりソースコード書いてあるプロジェクトはまだまだありそうだなぁという印象を受けました。
ただ自分の書きたいものが書けたので大変満足しております。

オンライン販売もしております

BOOTHさんにて電子版と物理本も販売しておりますので、レガシーAndroidコードと戦っていて気になった方はどうぞこちらからお買い求めください。

t-masahide.booth.pm

ktlintをpre-commitに引っ掛けてコードフォーマットする

元々php書いてて、php-cs-fixerをpre-commitでフックして整形してたなぁ…と思って最近Androidをkotlinでソース書いてるときに、同じようなやつkotlin版ないのかなぁと調べたらちゃんとありましたね。

github.com

ということでphp-cs-fixerのパターンと同様にktlintでフォーマットかけます pre-commitのscriptはこちらを参考にしました

blog.manaten.net

結果以下のようなpre-commitにしました

#!/bin/sh

if git rev-parse --verify HEAD >/dev/null 2>&1
then
    against=HEAD
else
    # Initial commit: diff against an empty tree object
    against=4b825dc642cb6eb9a060e54bf8d69288fbee4904
fi
# Redirect output to stderr.
exec 1>&2


IS_ERROR=0
# コミットされるファイルのうち、.ktで終わるもの
for FILE in `git diff-index --name-status $against -- | grep -E '^[AUM].*\.kt$'| cut -c3-`; do
    MESSAGES=(`/usr/local/bin/ktlint -F $FILE `)
    if [ "${#MESSAGES[@]}" -gt 0 ]
    then
       IS_ERROR=1
       echo ${MESSAGES[@]}
    fi
done
exit $IS_ERROR

普通に「ktlint」でlint違反があるものに関してはexitProcess(1)で終わるのですが、「ktlint -F」でフォーマットかけるとexitProcess(0)で終了しちゃうのでシンプルに

if /usr/local/bin/ktlint -F $FILE; then
     git add $FILE
else
     IS_ERROR=1
fi

こんな感じで書けなかったので、ktlint -Fが何かlint違反の文字列を出力していたらコミットしないというような感じに変えました。

クローディアにはエンジニアとしてお世話になりました

クローディアとは

2012年4月6日から2017年12月30日の期間。372文字投稿できる国産ミニブログなど言われていましたが、実際のユーザーの利用方法としては小規模なTwitterでした。 そこのサービスのユーザーとの思い出も色々とあるのですが、アプリ開発の思い出などを少し…

アプリ開発の思い出

ここのサードパーティーAndroidアプリの「クローイド」とiOSの「Icors」を開発してかれこれ多くのユーザーに?使っていただきました。(現在はストアから掲載を落としております)
ネイティブアプリ開発者としてここのアプリを作るのは非常に良い教材でした。
auth認証の実装やらアクセストークンの管理、トークンは1時間で切れるので適宜リフレッシュする必要がったり…
システム的にもほぼTwitterと似たような機能を持ち合わせているので、自然とTwitterライクなUIを作ることになります。
しかしSDKなど一切存在しないので、すべて自分で実装しなければならないところが勉強に非常に適しているところでした。
Androidで新しい機能や便利そうなライブラリが出たら、クローイドに入れて実際の業務で使えそうかどうか実験していたことも多々あります。
またマテリアルデザインが出始めの頃はFABを入れたりReceyclerView入れたり、BottomSheetBehavior入れてみたり最新のUIのキャッチアップにも使わせてもらいました。
kotlinが流行りだしたときはkotlinでリプレースをし、MVPやMVVMなどクラス設計が話題になり始めたときにも実際に導入してどんな雰囲気になるか試したり、会社の新卒エンジニアでアプリ開発に配属された人にはクローディアのアプリを作ってもらって、Android開発のいろはを学んでもらったりしました。
Icrosは自分の初めてのiOSアプリ開発で、中のソースコードもUIも出来栄えとかはクソみたいなものでした…そしてアップルとの審査との戦いそのあたりは以前のブログにでも… masahide318.hatenablog.jp

このように、現在アプリ開発者としてそこそこマシな人間になれているのも何かあれば実際に試せる環境があったからです。
ユーザーのフィードバックもダイレクトに来ます。嬉しいことを言ってくれる人もいたり、厳しいことを言ってくる人もいましたが、全部参考にさせていただいてました。
広告や課金などの要素は一切入れてなかったのですが、Amazonのほしいものリストを公開するとみんな色々と送ってくれたので実際の現物支給の額でいえばなかなかのものになってました。(あまりクローディアの住民には言えない)

最後に

大晦日に完全ポエムの投稿でしたが、開発者としてはちょうどいいAPIがそろった絶妙なサービスだったのでこれから何かアプリの動作を試したいときはどうしようかなぁと思っているところです。やっぱりマストドンかな
クローディアの新サービスも開発中らしいのでまたAPIが公開されたらアプリを作りたいと思います。
長い間実験場としてありがとうございました。

社内でGoogle Home使ってハッカソンしました

タイトル通り1日エンジニアの業務をストップしてハッカソンしました
作ったものは大したことないんですが、3人チームでメンバーの一人がGoogle Homeを持っていたのでそれを使っての開発が楽しかったので振り返りを

作ったもの

「我々には仕事より大切なものがある」をテーマにGoogle Homeでアイドルやアーティストのライブに遅刻しないように、逐一Google Homeに喋ってもらおうと頑張りました。
ひたすらググって出てきた参考ソースをほぼコピペしてだけなのですが…

喋ってもらうもの

  • 公式ブログ
  • 公式アカウントのツイート
  • 特定ワードのツイート
  • 「残り時間教えて!」と聞くと、ライブまでの残り時間教えてくれる
  • etc…

使用したライブラリなど

Google Homeに指定した文言を喋ってもらうのには

github.com ツイートの取得には

www.npmjs.com

以上2つお世話になりました。 また独自の音声コマンド「残り時間教えて」を実行するのにIFTTTを使いました
これらの3つはGoogle Homeでググるといっぱい先人の経験があるのでおかげさまで楽できました

ifttt.com

それらを組み合わせてこんな感じになりました f:id:masahide318:20171216005632p:plain

基本的にツイートを喋ってもらう分には問題無い作りです。StreamingAPIで流れてくるテキストをgoogle-home-notifierにcurlを投げつければいいだけなので
ただ独自の音声コマンド追加して何かさせるというのがGoogle Homeあまり向いてないんですかね…こんなめんどくさいことするとは思わなかったです。

  1. 「残り時間教えて」って言うとGoogleHomeが反応
  2. IFTTTのApplet実行し、特定のワードをTwitterに投稿
  3. 特定のワードがStreamingAPIで流れてきて、ローカルPCで取得
  4. 残り時間計算して、google-home-notifierにcurlなげて計算結果しゃべってもらう

なんじゃこりゃ…ハッカソンなので許してください

ハマったところ

google-home-notifierを使うためにGoogle Homeの固定IPを取得する必要があったのですが、スマホの端末とGoogle Homeとの接続が同一ネットワーク内にあるにも関わらずうまく接続できないということがありました。
結果社内のwifiが悪いということが判明して手持ちのiPhoneテザリングして繋いだらあっさりセットアップできたのでなんとかなりました。

改善点

  • やはりgoogle-home-notifierを常駐しておく用のラズパイなり何かが欲しかった
  • もっと別のいいやり方や連携サービス使えたかもしれないが知識が足りなかった

まとめ

  • 初めて使う言語やデバイスに触れる機会ができて楽しかった
  • 接続うまくいかないときはテザリングする
  • Google Home実際に使ってみておもったより色々なことできそうなのでおもちゃとしてほしくなった
  • もう少し普段からサービス間の連携を考えたり、何ができるかを意識しておく必要がある
  • 修行がまだまだたりないと改めて実感
  • AmazonEcho早く届いてほしい

CloundFirestoreの基本的なCRUD使い方メモ

Android開発においていわゆるRepository層にcloud firestoreを使うときのメモです。
昨日のNANAMemoのときのデータストアに活躍してもらいました。 その時の使用した様子を特に詳しい説明もなく書いてます。 RxJavaと使うと相性がよさそうですね。

gradleにfirestore追加

AndroidStudioのToolメニューからfirebaseの連携をした後にgradleにfiresotreを追加します。
だいたい以下のような感じになります

dependencies {
    implementation fileTree(dir: 'libs', include: ['*.jar'])
    implementation "org.jetbrains.kotlin:kotlin-stdlib-jre7:$kotlin_version"
    implementation 'com.android.support:appcompat-v7:26.1.0'
    implementation 'com.android.support.constraint:constraint-layout:1.0.2'
    implementation "com.google.firebase:firebase-firestore:11.6.0" //firestore追加
    testImplementation 'junit:junit:4.12'
    androidTestImplementation 'com.android.support.test:runner:1.0.1'
    androidTestImplementation 'com.android.support.test.espresso:espresso-core:3.0.1'
}

apply plugin: 'com.google.gms.google-services' 

CRUDサンプル

data class User(
        val name: String = "",
        val age: Long,
        val email: String = "",
        val createdAt: Date = Date()
)
class UsersRepository(val db: FirebaseFirestore = FirebaseFirestore.getInstance()) {

    private val path = "users"

    fun findAll(onSuccess: (List<User>) -> Unit, onError: (Exception?) -> Unit) {
        db.collection(path).get().addOnCompleteListener {
            if (it.isSuccessful) {
                onSuccess(it.result.toObjects(User::class.java))
            } else {
                onError(it.exception)
            }
        }
    }

    fun findOne(id: String, onSuccess: (User) -> Unit, onError: (Exception?) -> Unit) {
        db.collection(path).document(id).get().addOnCompleteListener {
            if (it.isSuccessful) {
                onSuccess(it.result.toObject(User::class.java))
            } else {
                onError(it.exception)
            }
        }
    }

    fun create(user: User, onResult: (Boolean) -> Unit?) {
        db.collection(path).add(user).addOnCompleteListener {
            onResult(it.isSuccessful)
        }
    }

    fun update(id: String, user: User, onResult: (Boolean) -> Unit?) {
        db.collection(path).document(id).set(user).addOnCompleteListener {
            onResult(it.isSuccessful)
        }
    }

    fun delete(id: String, onResult: (Boolean) -> Unit?) {
        db.collection(path).document(id).delete().addOnCompleteListener {
            onResult(it.isSuccessful)
        }
    }
}

上記のやりたかというか、firestoreのtoObjectメソッドは結構融通が利かず、key名と変数名が一致していないといけません。 また型にも厳しく、Intをもたせることが出来ません
さらにidの情報はaddOnCompleteListenerのDocumentSnapShotが持ってるので、idがわかりません。
なので独自のマッピングメソッドを用意してあげてもいいかもしれません
Userのentityにidをもたせると、次はfirestoreにaddしたときにkeyのid情報と、userのドキュメントidとで情報が重複しますがあまり気にしない。

data class User(
        val id: String? = null,
        val name: String = "",
        val age: Int,
        val email: String = "",
        val createdAt: Date = Date()
) {
    companion object {
        fun mapping(result: DocumentSnapshot): User {
            return User(
                    result.id,
                    result.getString("name"),
                    result.getLong("age").toInt(),
                    result.getString("email"),
                    result.getDate("createdAt")
            )
        }

        fun mapping(result: QuerySnapshot): List<User> {
            val users = mutableListOf<User>()
            result.forEach {
                users.add(mapping(it))
            }
            return users.toList()
        }
    }
}
    fun findAll(onSuccess: (List<User>) -> Unit, onError: (Exception?) -> Unit) {
        db.collection(path).get().addOnCompleteListener {
            if (it.isSuccessful) {
                onSuccess(User.mapping(it.result)) //こんな感じで置き換える
            } else {
                onError(it.exception)
            }
        }
    }

Presenterから使う

class SamplePresenter(val mainView: MainView,val usersRepository: UsersRepository = UsersRepository()){

    fun loadUsers(){
        usersRepository.findAll({
            mainView.showUser(it)
        },{
            mainView.showError()
        })
    }
}

RxJavaを使うVersion

class UsersRepository(val db: FirebaseFirestore = FirebaseFirestore.getInstance()) {

    private val path = "users"

    fun findAll(): Single<List<User>> {
        return Single.create<List<User>> { emitter ->
            db.collection(path).get().addOnCompleteListener({
                if (it.isSuccessful) {
                    emitter.onSuccess(User.mapping(it.result))
                } else {
                    emitter.onError(Throwable(it.exception))
                }
            })
        }
    }

    fun findOne(id: String): Single<User> {
        return Single.create<User> { emitter ->
            db.collection(path).document(id).get().addOnCompleteListener({
                if (it.isSuccessful) {
                    emitter.onSuccess(User.mapping(it.result))
                } else {
                    emitter.onError(Throwable(it.exception))
                }
            })
        }
    }
}
class SamplePresenter(val mainView: MainView, val usersRepository: UsersRepository = UsersRepository()) {

    fun loadUsers() {
        usersRepository.findAll().observeOn(AndroidSchedulers.mainThread()).subscribeOn(Schedulers.io()).doOnSuccess {
            mainView.showUser(it)
        }.doOnError {
            mainView.showError()
        }.subscribe()
    }
}

水樹奈々の思い出を記録するNANAMemoアプリ公開しました

アプリはこちらです
play.google.com

なぜつくったのか?

ファンクラブイベント7においてセトリハンターというコーナーが話題になりました。
その場で抽選で選ばれた人に次のライブで歌ってもらいたい歌をリクエストできるという企画で自分が歌ってほしい歌を確定で歌ってもらえる。ファンにとってこれほど嬉しいものはありません。
その時みんな自分が好きな歌を選んでくれ−っと思ったはずです。私もそうです。願わくば誰か「Independent Love Song」か「宝物」か「あの日夢見た願い」を選んでくれ−って思いました。
そしてひらめきました。みんなの思い入れのある歌の思い入れを記録してみんなで見れればいいのではないかと。自分の好きな歌が他の人がどんな思い入れがあるか知れたら楽しいではないかと
ということで開発期間約1週間で、とりあえずガーッと作りました。

ざっくりした構成

基本的にデータストアはfirebaseのCloud Firestoreにもたせてます。初めてNoSQLをがっつり使ったのでどういうデータ構成にするか悩みました。そのことについてはまた後日書きたいと思います。
ニュース記事は自分のsakuraサーバーでphpによるスクレイピングをしてMySQLにデータを格納。その後JavaのバッチがFirebaseにデータを送るという形になってます。
ログイン機構もFirebaseに任せていますしTwitterログインしかさせてないのでメールアドレスなど個人情報も一切持ってないので安心して使ってください。

今後の開発予定

  • CDやアルバム情報に画像を載せたかったのですがやはり著作権的にNGなので載せれなかったのでなんとかして華やかさをもたせたい。
  • iOS版を開発する
  • コメント数など表示する
  • ライブBDの情報も追加して、ライブの思い出も残せる場を作る
  • ニュース記事を増やす

とりあえず直近でこの辺りを計画してますが、果たしてどうなることやら…とりあえず頑張ります…
何かご意見ご感想があればsarahahやtwitterで言っていただければ頑張ります

masahide318.sarahah.com