12fps で 3コマ約0.2秒、確かによく見付けたなぁと思います。 再放送では編集されるとの由、どうなるんだろうと注視していましたら、 北条義時の走るシーンが例の場面直前まででカットされ、 その分佐竹側の武者達が降りてくる次のシーンが若干長くなっている、 というものでした。 両者足したものを作ってみたら確かに45分を0.2秒程越えてました。
]]>バッチのSQLの結合経路を調べさせたときのことです。多段のJOINで、あるソートキー列が表から表へどう引き回されているかを追わせたところ、agentがこう報告してきました。
子テーブルのソートキーは親テーブルと直接は紐付いていません。間のマスタで名称一致を取り直した後の値を経由しています。単純な「親 = 子」の結合ではありません。
具体的で、自信ありげで、「一見そう見えるが実は違う」という玄人っぽい形をしています。そしてこの報告は、検証されないままチーム共有の影響範囲ドキュメントの「未確認事項」欄に載りました。白状すると、この調査は報告の受け取りからドキュメントへの記載まで含めてAI主導の流れで回していて、人間の私はその門を素通しさせています。つまり誤読したのもAI、載せたのもAIで、人間は見ていなかった。
後日、レビューで指摘を受けて該当のMapper XMLを読み直したら、誤読でした。構造だけ抜き出すとこうです。
INNER JOIN m_group g
ON g.grp_id = base.grp_id
AND g.sort_no = base.sort_no -- ここで g.sort_no は base.sort_no に固定される
AND g.name_1 = base.name_1
INNER JOIN t_detail d
ON d.grp_id = base.grp_id
AND g.sort_no = d.sort_no -- 見た目はマスタ経由。実質は base.sort_no = d.sort_no
g.sort_no = d.sort_no と書いてあると、いかにもマスタ g 由来の値で結合しているように見えます。でも上で g.sort_no = base.sort_no と縛られているので、これは base.sort_no = d.sort_no と同値です。マスタのJOINが実際にやっているのは階層の絞り込みと名称一致による行選択だけで、ソートキーの値は何も変えていない。5分読めば決着する話でした。
このとき自分のノートに書いた教訓が3つあります。
その1: AIの報告は一次証拠ではない。 特に「一見そう見えるが実は違う」という形の指摘は、自分で該当行を読むまで信じてはいけません。人間の部下の報告なら、自信のなさが文面ににじむものですが、LLMの文章は間違っているときも常に流暢で具体的です。「具体的で自信ありげ」をフィルタに使う長年の癖が、AI相手では効きません。もっともらしさと正しさが無相関の相手だ、と思って扱う必要があります。
その2: 「未確認事項」への格上げは、検証をサボることの言い換えになりうる。 未確認と書けば嘘にはならない、という安心感が罠でした。自分で5分読めば白黒つく話を、読者の宿題にしていたわけです。以来、未確認事項に書く前に「これは自分で確かめられるか?」を一度問うことにしています。
その3 (これはAIと無関係の普遍教訓): SQLのエイリアスは値の出所を隠す。 g.sort_no と書いてあっても g 由来の値とは限らない。等値条件で他の列に固定されていれば、それはただの別名です。エイリアスを目で追うのではなく、その列に効いている等値条件を全部集めてから考える — これはAIにも人間にも効く読み方だと思います。
じゃあAIの調査は使えないのか、というと逆で、この一件の後もほぼ全ての調査をagentに任せています。探索の大半は正しく、コストは桁違いに安い — と、ここで「8〜9割は正しい」と書きかけて、出典のない数字だと気づいてやめました。体感です。本稿の教訓は、こういうところにまで効きます。変わったのは運用ルールで、
要するに「信頼するな」ではなく「検証できる形で報告させろ」が実務解でした。
ところで、この「最後の門番」も結構な負担です。次回は、その検証自体をAIにやらせる話 — 書いた本人の文脈を一切与えない別セッションのAIに、成果物を敵対的にレビューさせる運用 — を書きます。
(この連作は、AIエージェントを業務のレガシーシステム保守で半年ほど運用して溜まった実践則を、1本1則で書いていくものです)
]]>tlmgr install collection-langjapanese で30分ほどかけて日本語PDF環境を作った話を書きました。
実はあの記事を書いてから割とすぐ、楽にMarkdownをそれっぽいPDFに変換する の frozenbonito/pandoc-eisvogel-ja を見つけました。pandoc + Eisvogel テンプレート + 日本語フォント焼き込み済みの docker image なので、
docker run --rm -v $(pwd):/data frozenbonito/pandoc-eisvogel-ja -o doc.pdf doc.md
これ一発。表紙も目次も出ます。爾来、今に至るもずっとこちらを愛用しています。以上。
…で終わってしまうのもなんですんで、そういえばきょうび、この界隈はどうなってるんだろう? と思って軽く見渡してみました。
一番の変化は Typst の台頭のようです。LaTeX 代替の組版システムで、pandoc が --pdf-engine=typst を直接サポートしたので、
brew install pandoc typst
pandoc doc.md -o doc.pdf --pdf-engine=typst
で TeX 環境なしの日本語PDFが出る時代になっていました。tlmgr に22分かけた身からすると隔世の感があります。日本語の組版にこだわるなら CSS 組版の Vivliostyle が健在で、技術同人誌方面は大体これみたいですね。
あと身も蓋もない変化として、AI に「これPDFにして」と言うと agent が勝手に pandoc なり headless Chrome なりを使って出してくる、というのがあります。ツール選定という行為自体が消えつつある、のが AI 時代の今、ということでしょうか。
前回の記事で「どうしようもないエラーが出る」と切り捨てた md-to-pdf、2026年の今ならどうなのか。試してみました。
$ npx --yes md-to-pdf sample.md
Error: Could not find Chrome (ver. 151.0.7922.71). This can occur if either
1. you did not perform an installation before running the script
(e.g. `npx puppeteer browsers install chrome`) or
2. your cache path is incorrectly configured
一発では動かない。そこは3年前と同じなんですが、理由が進化していて、puppeteer が Chrome を自動ダウンロードしなくなったため、なんですね。エラーメッセージの指示どおりに
$ npx puppeteer browsers install chrome
$ npx md-to-pdf sample.md
[12:51:55] generating PDF from sample.md [started]
[12:51:59] generating PDF from sample.md [completed]
今度は4秒で完了。出てきたPDFは GitHub 風スタイルで、日本語の本文・表・コードブロックとも問題なしでした。「一発では動かない」は3年経っても変わらないですが、エラーメッセージが親切になったので自己解決できる。時代は少しずつ良くなっています。
Typst は Rust 製で musl の static build が配られていて、pandoc の公式バイナリも static link なので、原理的には glibc の古い年代物の Linux でも「置くだけ」で動くはずです。docker が使えない・使いたくない環境でこそ試す価値があります。手元の古めの環境で試してみました。
mkdir -p ~/md2pdf/bin && cd ~/md2pdf
curl -sLO https://github.com/typst/typst/releases/latest/download/typst-x86_64-unknown-linux-musl.tar.xz
tar xf typst-x86_64-unknown-linux-musl.tar.xz && cp typst-*/typst bin/
# pandoc は GitHub releases の linux-amd64 tarball (static link) を同様に bin/ へ
export PATH=~/md2pdf/bin:$PATH
time pandoc sample.md -o out.pdf --pdf-engine=typst -V mainfont=IPAMincho
real 0m5.210s
glibc 2.23 という年代物の環境で動きました。初回はフォントキャッシュ構築込みで5秒、以後は1秒級。日本語フォントはシステムに入っているものを typst がそのまま拾ってくれるので (typst fonts で一覧できます)、うちは IPAMincho を指定しただけ。無いマシンでも otf を1個置いて TYPST_FONT_PATHS で指せば済みます。disk 占有は typst + pandoc 合わせて210MB (ほぼ pandoc の static binary です。配布は tar.gz で30MBほどなのに、展開すると5倍に膨らむのは Haskell の static binary らしいところ)。eisvogel-ja の docker image が1.29GBなので、6分の1で済みます。出来上がりの PDF も、表紙情報・見出し・表・コードブロックとも文句なしでした。
今日から pandoc + typst で生きていこうと思います。
凄いですね、ベルリン工科大 Martin Haug さんと Laurenz Mädje さん。「LaTeX のコンパイル遅すぎ・エラー不親切すぎ」に切れて作った、と?! あの Knuth 先生に挑むというその心意気に拍手喝采です。
そういえば、知人が何を使って md to pdf しているのか、気になっています。今度聞いてみます。
]]>結論から書きますと、MySQL は Unicode 正規化を「やってくれない」です。代わりに照合順序 (collation) が「何と何を同じとみなすか」を決めているんですけど、これは正規化の代替ではないですし、時々予想外のものまで同じにしてしまいます。手を動かして確かめたので、その記録、です。
MySQL 8.0.46 (Docker公式image) で、NFC の「ポ」と NFD の「ポ」を各照合順序で比較してみます。文字列リテラルだとエディタやシェルが勝手に正規化しかねないので、バイト列を明示します。
-- NFC の「ポ」(U+30DD) と NFD の「ホ+結合半濁点」(U+30DB U+309A)
SELECT CHAR_LENGTH(CONVERT(X'E3839D' USING utf8mb4)) AS nfc_char_len,
CHAR_LENGTH(CONVERT(X'E3839BE3829A' USING utf8mb4)) AS nfd_char_len;
+--------------+--------------+
| nfc_char_len | nfd_char_len |
+--------------+--------------+
| 1 | 2 |
+--------------+--------------+
文字数からして違う、正真正銘の別文字列です。これを4つの照合順序で比較しますと:
SELECT CONVERT(X'E3839D' USING utf8mb4) = CONVERT(X'E3839BE3829A' USING utf8mb4)
COLLATE utf8mb4_bin AS bin_eq; -- 0
SELECT ... COLLATE utf8mb4_general_ci AS general_ci_eq; -- 0
SELECT ... COLLATE utf8mb4_unicode_ci AS unicode_ci_eq; -- 1
SELECT ... COLLATE utf8mb4_0900_ai_ci AS ai_ci_eq; -- 1
SELECT ... COLLATE utf8mb4_0900_as_cs AS as_cs_eq; -- 1
| 照合順序 | NFC「ポ」= NFD「ポ」 |
|---|---|
utf8mb4_bin | 一致しない |
utf8mb4_general_ci | 一致しない |
utf8mb4_unicode_ci | 一致する |
utf8mb4_0900_ai_ci | 一致する |
utf8mb4_0900_as_cs | 一致する |
Unicode Collation Algorithm (UCA) に基づく照合順序 (unicode_ci、0900系) は、正規化の違いを比較時に吸収します。アクセントも大文字小文字も区別する utf8mb4_0900_as_cs ですら一致させるのは少し意外でした —– これは「正規化して等しいもの (正準等価) は等しい」という UCA の原則によるもので、accent-insensitivity とは別の話です。一方、旧世代の utf8mb4_general_ci は符号位置ごとの単純な重み比較なので吸収しません。
よくない、です。照合順序は「一致の定義」を丸ごと入れ替えるダイヤルであって、正規化の違いだけを吸収する装置ではありません。MySQL 8.0 のデフォルトである utf8mb4_0900_ai_ci は accent-insensitive、つまり「アクセント記号を無視する」のですが、日本語では濁点・半濁点がアクセント扱いになります:
SELECT _utf8mb4'はは' = _utf8mb4'ぱぱ' COLLATE utf8mb4_0900_ai_ci; -- 1
SELECT _utf8mb4'はは' = _utf8mb4'ばば' COLLATE utf8mb4_0900_ai_ci; -- 1
SELECT _utf8mb4'が' = _utf8mb4'か' COLLATE utf8mb4_0900_ai_ci; -- 1
SELECT _utf8mb4'はは' = _utf8mb4'ばば' COLLATE utf8mb4_0900_as_ci; -- 0
母 (はは) と父 (ぱぱ)、婆 (ばば) が一致します。デフォルトのまま日本語データに UNIQUE 制約や検索を載せると、この定義で「同じ」が判定されます。逆に general_ci はこれらを区別しますが、'ABC' = 'abc' は一致させます (case-insensitive)。つまり:
general_ci: NFC/NFD は別物扱い、大小文字は同一視0900_ai_ci: NFC/NFD は同一視、濁点も大小文字も同一視0900_as_cs: NFC/NFD は同一視、濁点も大小文字も区別「どの差を無視してどの差を区別するか」のセットを選んでいるのであって、単体で仕様の要求と一致することはまず期待できません。
ならば比較の前に正規化すればよいのですが、MySQLにはその関数がありません:
SELECT NORMALIZE(_utf8mb4'ポ');
ERROR 1305 (42000): FUNCTION mysql.NORMALIZE does not exist
PostgreSQL には 13 から normalize() があるので、これは MySQL 側の欠落です。つまり MySQL では、正規化はデータベースに入る前 (アプリケーション層) で行うしかありません。
0900_ai_ci) は日本語では「はは = ぱぱ」であることを知った上で選ぶ調べると、意外とないんですよね日本語markdown to pdf。popularなのはMS Visual Studio Codeの拡張機能Markdown PDF使うものですけど、たったそれだけのためにVisual Studio Code入れたかぁないですし。
nodeのmarkdown-pdfやmd-to-pdfとかサクッと出来そうだったんですけど、古いのか、どうしようもないエラーが出ます。
docker run --rm -it -v $PWD:/work -w /work -e https_proxy=http://192.168.120.1:3128 node:alpine sh
# npm i -g markdown-pdf
# markdown-pdf some.md
node:events:497
throw er; // Unhandled 'error' event
^
Error: spawn /usr/local/lib/node_modules/markdown-pdf/node_modules/phantomjs-prebuilt/lib/phantom/bin/phantomjs ENOENT
:
# npm i -g md-to-pdf
# md-to-pdf some.md
(node:29) [DEP0040] DeprecationWarning: The `punycode` module is deprecated. Please use a userland alternative instead.
(Use `node --trace-deprecation ...` to show where the warning was created)
Puppeteer old Headless deprecation warning:
:
✖ generating PDF from some.md
→ TROUBLESHOOTING: https://pptr.dev/troubleshooting
ListrError: Something went wrong
at /usr/local/lib/node_modules/md-to-pdf/node_modules/listr/index.js:102:18
:
pandocもいいんですが、texの環境色々入れるのがかったるいなー。 というわけで、docker baseで。 探すと、参考文献がありました。proxyも使わないとならないので。
$ PROXY=http://192.168.120.1:3128
$ docker run --rm -it -e https_proxy=$PROXY -e http_proxy=$PROXY -e ftp_proxy=$PROXY -e use_proxy=yes -v $PWD:/data --entrypoint sh pandoc/latex
/data # tlmgr install collection-langjapanese
:
tlmgr: package repository ftp://tug.org/historic/systems/texlive/2022/tlnet-final (not verified: valid signature with expired key)
:
[108/108, 22:16/22:16] install: collection-langjapanese [1k]
running mktexlsr ...
:
/data # pandoc some.md -o some.pdf -C --pdf-engine=lualatex -V linkcolor=blue -V documentclass=ltjsarticle -V luatexjapresetoptions=fonts-noto-cjk
ftp_proxyが必要use_proxy=yesもないとproxy経由と認識してくれなかった/dataなのでそこにmountするentrypointが入っているので、optionで上書きしないとtlmgrを動かせないpandoc/coreではなくpandoc/latexであることに留意
tlmgr install collection-langjapaneseは22分かかった
pandoc md_file -o pdf_fileだが、--pdf-engineにlualatexを指定したりdocumentclassにltjsarticleを指定したり、日本語特有の指定が必要###が本文と同じ大きさの文字になるので、思っているよりlevelを1段階上げとかないと、思ったような出力にならないAUTHORIZATION_CODEを得ようと、以前のように↓のURLにaccessすると、
https://accounts.google.com/o/oauth2/v2/auth?response_type=code&client_id=…apps.googleusercontent.com&redirect_uri=urn:ietf:wg:oauth:2.0:oob&scope=https://www.googleapis.com/auth/photoslibrary&access_type=offline
アクセスをブロック: ... のリクエストは無効です
と出て、あれ?!と。
エラー 400: invalid_request The out-of-band (OOB) flow has been blocked in order to keep users secure. Follow the Out-of-Band (OOB) flow migration guide linked in the developer docs below to migrate your app to an alternative method.
で、帯域外（OOB）フロー移行ガイドへ誘導され。
このoobフローはなくなったと!? んじゃどうせぃっていうんじゃねん。
「デスクトップクライアント」に相当するから、ループバック IP アドレス（localhost または 127.0.0.1）フローに飛ばされたものの、こっちもなくなってて、ループバック IP アドレスフローの移行ガイドに飛ばされて、結局library使う方法しか書いてなくて。こちとら、shell scriptで使いたいんですけど。refresh_token欲しいだけなのに、なんでこんなに苦労せなかんの??🤔
…って嘆いても仕方ないので、library使ってrefresh_token取得だけします。
ちょっとめんどくさいんですけど、local環境を汚染しない形で。
参考:
Google APIの認証情報のpageから「OAuthクライアントをダウンロード」してclient_secret.jsonとして保存。
$ docker run --rm -it -v $PWD/client_secret_....json:/root/client_secret.json python:alpine sh
# apk add w3m screen
# pip install google-api-python-client google-auth-oauthlib
# screen
# python
>>> from google_auth_oauthlib.flow import InstalledAppFlow
>>> credential=InstalledAppFlow.from_client_secrets_file('client_secret.json',["https://www.googleapis.com/auth/photoslibrary.appendonly"]).run_local_server()
ここでw3mが開くので、Qを押して閉じるとURLが表示され、そこをChromeなりで開いて、突き進んで承認します。
そうすると、http://localhost:8080/?state=…. へ回されて止まるので、C-aで別screenを開いて、そこでw3m 'http://localhost:8080/?state=...'とすると、The authentication flow has completed. You may close this window.と言われます。徐に元のscreenに戻るとcredential objectができているので、credential.refresh_tokenとすると、漸くREFRESH_TOKENを得られます。1時間有効なACCESS_TOKENはcredentail.tokenで得られます。
これらを使うと、やっと以前のようにshell scriptで回せるようになります。ふぅ。
]]>
12fps で 3コマ約0.2秒、確かによく見付けたなぁと思います。 再放送では編集されるとの由、どうなるんだろうと注視していましたら、 北条義時の走るシーンが例の場面直前まででカットされ、 その分佐竹側の武者達が降りてくる次のシーンが若干長くなっている、 というものでした。 両者足したものを作ってみたら確かに45分を0.2秒程越えてました。
]]>./grainw create-post 'some title'
としたら、gradle-1.8.jarを取りに行って404 not found食らって動きません。
このgrainって古いしもう更新止まってるし、先見の明なかったなぁということなんですが、もうちょっと本気で原因究明です。
https://services.gradle.org/distributions/ はあるのになぜ404? と思ったら、http://...で取りに行ってました。gradlewのgradleが古すぎる?
grainwのどこで止まってるか、debug print入れて割り出すと、./gradlew gendepsでした。これをversion 6.8.1のgradleで手動でやってみる(gradle gendeps)と、build.gradleのline: 78で止まります。なんで?と思って調べると、「Cannot add task ‘wrapper’ as a task with that name already exists.」が出たにあった通り、でした。
task wrapper(type: Wrapper) {
を
wrapper {
にすれば動きました。良かった。
gradle wrapperで./gradlewを更新して、./grainwも復活しました。
```yaml: docker.ini [docker_host] localhost
[container] eiger-local
```yaml: playbooks/docker.yml
- hosts: localhost
connection: local
gather_facts: no
vars:
ansible_python_interpreter: /Users/ryo-umetsu/.anyenv/envs/pyenv/shims/python
# ansible_python_interpreter: /usr/bin/python3
tasks:
- name: deploy amazonlinux docker
docker_container:
image: amazonlinux
name: eiger-local
volumes:
- /sys/fs/cgroup:/sys/fs/cgroup:ro
ports: 57017:27017
expose: 57017
tty: yes
detach: yes
privileged: yes
# capabilities:
# - SYS_ADMIN
# sysctl:
# vm.swappiness: 1
command: sh -c 'yum -y install procps systemd-sysv file && exec /sbin/init && systemctl restart'
- name: adding host
add_host: name="eiger-local"
- name: wait
wait_for:
delay: 10
timeout: 10
- hosts: eiger-local
connection: docker
vars:
setup_mongodb_password: !vault |
$ANSIBLE_VAULT;1.1;AES256
39356533306331333763353433363335343961653335373762623630653361623034646232633837
6164306666656436653636643333363261646662356666640a636462346635323164633365376637
39303832396638336664653439326536386235323262303733653563653766353263623032386538
3135623166613363630a343734666666323830663838653962663032386337626635396563383230
6266
# setup_mongodb_password: "test"
ansible_python_interpreter: /usr/bin/python
roles:
- role: "../roles/create_data_directory"
- role: "../roles/setup_mongodb"
- role: "../roles/configure_logrotate"
- role: "../roles/configure_swap"
凄いknow-how詰まってます。
connection: localとするとssh経由じゃなく直接command叩いてくれるconnection: dockerとするとdocker execで叩いてくれる(のでtargetにauthorized_keysとかsshdとか不要)localhostではgather_facts: noとする(これをしないとansible_swaptotal_mbとかansible_memtotal_mbといったシステムから検出される変数: Fact (ファクト)が埋められない)ansible_python_interpreter: /usr/bin/python3はpython binaryを探す順序があって、/usr/bin/pythonを先に見つけてしまい、version 2を使ってしまうのを防ぐため。Macだと/usr/bin/pythonがpython2で、python3は/usr/bin/python3なので。ここのversionが合わないと、The error was: No module named 'requests'"と言われて何が悪いのかさっぱりだった。基本的にはpip3 install dockerが足りなかったのだが、その他に、このようにansibleが自分で見つけて使っているpythonのversionと自分がcommand lineで使っていてpip installしたpythonのversionがずれていると、このように言われる、ことがわかった。その他にもinventoryで指定することもcommand line optionで指定することも出来る。command line optionで-e ansible_python_interpreter=/usr/bin/python3とするのが最も柔軟だが、これはplaybooks中の値を全て上書きするので、やはり注意が必要だった。pythonってversionややこしくて…setup_mongodb_password: !vault |はSingle Encrypted Variableでecho -n test|ansible-vault encrypt_string --vault-password-file vault_password.txt --encrypt-vault-id default --stdin setup_mongodb_passwordのように使う(ansible-vaultで暗号化しよう。)docker_container:はmodule名で、古い文献だとdocker:になっていて今は効かないので注意。中で指定できるものはcommunity.docker.docker_container – manage docker containersに挙がっている。privileged: yesは、container内でsysctl vm.swappiness=1(defaultは60)をされるので。sysctl:というoptionもあるのだけれど、そこで指定できる(whitelistにある)のはnet.*とかkernel.*の一部だけだそう(サポート中の sysctl)。command: sh -c 'yum -y install procps systemd-sysv file && exec /sbin/init'は、playbook中でsystemctlを設定するものがあるから。Restart=alwaysにしたいんですよね要するに。でも、そうするとdockerにsystemd(initd)が動いていねばならず、そういえばdockerって普通はそんなのなかったな、どうやるんだ? 調べると、
systemd-sysvをinstallする必要/sys/fs/cgroup:/sys/fs/cgroup:roのdevice mountが必要
/sbin/initexec /sbin/init(これどこで見たんだっけなぁ感動したなぁStackOverflowだった気が。他では全然書いて無くて、よく見つけたもんだ)wait_for:がないと、docker内にまだyum installとか終わりきってないのにどんどん次に進んでしまい、service.name:mongod,service.enabled:trueの時に「mongodというserviceはない」といって落ちてしまうので。ホントはちゃんと何かを待ちたかったんだけど、何を待ったらいいのか不明でした。processかなと思ったんですが、processのwaitってpid fileの存在有無を確認するみたいな。いゃー、systemdというかinitってpid fileなんてないんですけど。network port待つ例は数多あれど。仕方ないのでただ10秒待つように。timeout:10は不要かと思いきや、ないとずっと待ってました。ansible-playbook -vvv -i docker.ini playbooks/docker.ymlと実行するんですが、dockerでやる場合はansible/ansible-runner使って、docker run --rm --name=ansible -v $PWD:/work -w /work -v /var/run/docker.sock:/var/run/docker.sock ansible/ansible-runner sh -c 'pip3 install docker&yum install -y yum-utils;yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo;yum install -y docker-ce docker-ce-cli containerd.io;ansible-playbook -i docker.ini playbooks/docker.yml'と、CentOS8 baseのansible-runnerにdockerを入れねばならず、またunix socketを共有しないとなりませんでした。CentOS8にyum install dockerするとpodmanが入りやがるんですよね。podmanってMacじゃ動かねぇっつーの! podmanだとhosts:eiger-localのgather_factsでDocker version checkに失敗して落ちるんですよね。Podman broken on Silverblue? Podman complains kernel not supporting overlay fs (backing file system is unsupported for this graph driver)見てsed -i "s/#mount_program/mount_program/" /etc/containers/storage.conf加えても、Error: mount /var/lib/containers/storage/overlay:/var/lib/containers/storage/overlay, flags: 0x1000: operation not permitted。うーん。逆に、docker containerにansibleを入れる方がsimpleでした。即ち、docker run --rm --name=ansible -v $PWD:/work -w /work -v /var/run/docker.sock:/var/run/docker.sock docker sh -c 'apk add ansible py3-pip;pip3 install docker;ansible-playbook -i docker.ini playbooks/docker.yml'ですね。pdftkで10ページ目をcatして標準出力に渡し、それをpipeで繋げてpdftoppmで標準入力から読み込みredirectして-pngで変換してfileへ。-pngがないと.ppmになるので注意。
pdftk nenga2021.pdf cat 10 output -|pdftoppm -png - > nenga2021.png
result[:key]=... if ...と書けと言われました。ナルホドです!yarn test:vue通るのにCircleCIでは7 failsと言われて通らないので悩みました。どう目を凝らしてもerrorらしき出力はなく。よく見るとCircleCIの最後にToo long with no output (exceeded 10m0s): context deadline exceededとあり、かかった時間が10:57とか。えー!?そんなにかかっているの?? 手元でtimeで計測するも、1分ちょっと。CircleCI再実行して観察すると、test自体は1分程で終わり、その後ずっとだんまりで、10分程してTimeoutします。何だろう? 手元では再現しないのでとにかく厄介です。考えてみたら、チェックじゃなくて「1)」とか「2)」になっているところが失敗したところなんですね。確かに7)までありますわ。でも、そこがどう間違っているのかが全然出力されないので皆目わかりません。一箇所、describe('...', async () => {ってなっていたから、これか! と消して勇躍試してみたものの、症状変わらず。mountをshallowにしてみたり削れるだけのasync/awaitを削っても。何故かdescribeの囲みを解くとtestが失敗します。期待してるobjectのpropsがないと。でももう一つ別のpropsはある。もぅわけわかんない!ですよ。CircleCIにsshで入ったりして色々と調べてみると、特定の2 filesが先にあると失敗する様子。何それ。どちらかがない、もしくはどちらかより先に実行されれば上手く行く。もっと詳しく見てみると、具体的には、shallowした直後のwrapper.html()の中身が全然違うという。どうして? そんなとこどうにもなんないじゃん。…あぁ、ぃゃ、test対象Vue Classできちんとcomponentを定義すると(e.g.components: { 'el-button': Button, 'el-dialog': Dialog })warningが消えてcomponentとして見えるようになることがありますが(特にElementUIはel-...とclass nameが合わないので…(- -;)、そういうわけでもなく。何せ2 filesが組み合わさるとtestにコケるというのが謎です。試しにダメにするspec fileを一つ消してから全体的にnpm run test:vueしてみると、またコケるので、その2 filesはat leastであってもっと他にも組み合わせの悪いのがあるということです。i18nかなぁ? 確かに一方はenで他方はjaでしたが、大して使ってないのでcomment outしても変わらないですし… localでは全体的に通しても通っている、CircleCI上でも単体や相性の悪いものの後でなければ動く、でも全体的に通すとtestに失敗する、というのはとても悔しく、厄介です。結局心折れて、componentが見つからなければtest codeをthroughするようにしました。端からdescribe.skip(...よりはマシでしょう。それにしても何でやねん。大したtestしてるわけでもないclasses(methodがcallされたかどうかをassertしてる程度)に阻まれて、ちゃんと作ったspecのtest(条件がどうならどういう表示状態、input要素をclickしたらどういう文言のdialogが出て、等)を実行できないというのは何とも残念でなりません。el-tableとかel-dialog、そのままだとそんなcomponent知らないよとwarningが出まくります([Vue warn]: Unknown custom element: <el-table-column> - did you register the component correctly? For recursive components, make sure to provide the "name" option.)。wrapperからはHTML Tagとして扱えるので最後はそうするのですけど、出来ればちゃんとcomponentとして扱いたいところです(でないとtable等でdataをloopさせて表示を作るcodeだった時のdata部分がそっくりないのでtest出来ない)。spec classでshallow(ormount)する時にstubs:するのかと思ってた(前それで頑張った気がした)んですけどそうではなく、spec対象元classでちゃんと定義されていれば?、否、ElementUIなんかは丸っと読み込まれているのでいいのかなぁ?ともあれ、spec classでlocalVue.use(Table)としたlocalVueをshallow(ormount)時に読み込んでやる必要がありました。でそのcomponentをfindして.props()して中身をexpectしていくという流れですね。最初はconsole.log(wrapper.html())で何が捕れるのかよく観察すると。でも上記のように、何かが変わるとすぐ取れるcomponentが変わるようなので、怖いです。その辺りの機微がよくわからないので…it(..., async () => { ... await Vue.nextTick(); ...}); 2 ticks待たないと値が変わらないことも。wrapper.findAll('.cell')で取って来た値はElement Objectなので、見た目上は空でもexpect(cell).to.be.emptyとは出来ません。expect(cell.isEmpty()).to.be.truepropsとdataは分けねばならない? 当初、dataに初期値を渡そうとしてどうしても出来ず、途方に暮れました。dataの初期値はdata部に書いた最初に返す値でそれは何でもよく、tagの方で渡す値で上書きされるのかと思ったら違うんですね。ではdataではなくpropsを使うのかと思うとそうでもなく、propsを後から変更しようとすると怒られますし。Stackoverflowにあった解決策は、初期値propsとdataを使い分けること。無駄な変数増えて何だかなぁとは思いますれど、そういうもの?slot-scopeって、="scope"ではなく={row}とやればいいんですね。本で知りました。...mapGettersがなかなか効かなくて苦労しました。computed:に入れる、storeのmodule構造に合わせてmodule(file)名/method名にする、とやったんですが、undefinedって言われて。store経由でthis.store.value_nameとかってやると取れるのに。でもState を直接参照せず、getter 経由で参照することを強く推奨するというので頑張りました。一回は諦めたんですけど、その後retryしたらうまくいくように。結局どうしてうまくようになったのか、決め手が何だったのかよく分からずじまいです。async/awaitを導入してやっと止めました。要は「dialogを作っているところをnew Promiseでくるんでreturn、それをawait、しているfunctionをasync」ですかね。$destory()出来るんですね。生成と削除は外からやらないとダメかな、と思っていた(ので$emitして親で受けてdialog.$destory()してた)んですけど、実際生成は外から$mount()呼ばないとならないですけど(created:やmounted:はcallbackですよね)、「ボタン押したら消滅」で自己$destroy()は出来るんですねやってみたら。いちいち面倒くさいけどやってみないとわからんもんですね。$emitと、戻しは何だ??を使えば出来ますが、2階層上は面倒です。情報渡すだけならまだしも、その後の処理を孫でやるならdialogの結果を2階層戻してもらわないとならないですし、じゃぁ処理もgrandparentに渡す? 処理に必要な情報も渡さないとだし、grandparentで知らなくてもいいことを知らなきゃいけないなんて。ということで、何かないかなーと探すと、揮発性dialogというものが(揮発性の高いコンポーネントを作る話)。探すと似たようなことしてる人割と多く。これを理解して、そのままではなく2 filesで済むようにして自分のにapplyするのも頭を使いました。これ結構いいような。Vueのdialogも一般的にこれでいいような。初からDOMについているのではなくって。awaitもうまく行ってよし、じゃぁtestを書くぞ、と試したら、いきなりわけのわからないerrorに見舞われてそもそもtestが動かなくなってしまいました。なんでだろー?! 自分以前では確かに動いていたので、自分のせいです。でもどのfileが悪いとかも出て来ないのでまるで取っ掛かりがなく、途方に暮れました。error messageで検索すると、どうやらなんとasync/awaitを使った場合に出るbable/polyfill系のerrorだとか。えー!! 折角苦労してasync/awaitでdialog止めたのに! 代替手段なんて思い付かないよー! ということで、何とか突破すべく頑張りました。babelの線で色々と調べてみると、こうしたら直った、ああしたら、とか種々書いてあるんですね。新たなgem install以外は全部試しましたけど、うまく行かず。でもこの記事を参考にvueのsetup.js冒頭にrequire("babel-polifill");と書いたら!! 動いてくれました!! 省みれば僅か1行の追加ですけど、この1行には数時間もの汗と涙が詰まっているのです。curlやPostmanを使うのはよくありますけど、cookieが何か長くてcopyが面倒だなーと思ったので、Chrome Developer toolのConsoleにてfetchでやる手法を。fetch(｀/apis/endpoint/＄｛id｝｀,{method:method,credentials:'include',headers:{'X-CSRF-Token':token}}).then((response)=>console.log(response))とすればBrowserの持っている認証情報をそのまま使ってくれます。credentials:'include'が肝です。どうせ使い捨てcommandですから。X-CSRF-Tokenが付くというものでした。request毎に違うものでなくてもいいのか? いいのか…予測困難なら…Time.currentやDate.currentのように.current methodを使えばTimezoneを意識してくれる模様。.nowより.currentがということでやはり「ナウい」は死語ということですか。mapやselectやrejectやeach等)、もうfoolproofとしてlazy...forceを付けるのがいいんじゃないか、と思ったんですけど、そうでもないんですねこれ!! ってかそもそもどうしてlazyがdefaultじゃないんだろう? ってJava屋さんとしては思ってたんですけど、銀の弾丸ではないという話があって衝撃でした何を今更ですけど(古い話のようで今は多少performance上がったそう)。というわけで、lazyは「省メモリ」か「後でかなりの数takeすることがわかっている場合」でないと効果なさそうなんですね。元ネタLogger.new(...)ってやったんですけどどうして毎回file nameを指定しなきゃいけないのか、しかもfile名指定してnewすると都度file作りやがる、のでappend modeでopenして、とかってやらないとならないの?! なんか面倒臭くね? と思ってたら、Rails.loggerでいいんですね。なぁんだ。@logger ||= Rails.loggercontrollerで最終的?に全てのerrorを拾うにはrescue_from error_class名, with: :method名、事前validationを定義するにはbefore_action :method名==、eql?、hashの3 methodあるんですね。うち==はArrayで、残る2つはSetで使われる模様。Arrayでは比較通るのにSetでは違うと判定され悩みました。Setではobject hashを取っているからなんですね。でも結局、.to_jsonすれば同一性methods定義しなくても行けました。何だかなぁですけどまぁunit testなのでいっかー。routesでresourcesを使えばendpoint定義をまとめられますね。path parameterも積極的に使うべきでしょう(その存在を強制できるので)。parameter nameは基本idですけど変えられるんですね。.find_or_create_byがありました。更にforeign key制約をつけて、その制約に反したらerrorにして欲しい場合は、.find_or_create_by!でした。object = Struct.new(:variables, ...)とobjectとして使えば良い、という記述があったので、今度試してみます。←ここでいうobjectってclasなんですね。@param [引数のクラス] 引数名 引数の説明、@return [戻り値のクラス] 戻り値の説明[key, value]の配列の配列にしてから.to_set」はloopを2回回すので何だかなぁと思っていました。Rubyにもあるreduce(inject)を使えば出来る!とあったのでやったのですけど、そうしたらrubocopに「そういう時はeach_with_objectを使え」と言われました。ナルホド、それなら確かにblockの最後にhashをreturnせずともよいわけですね! というわけで、list.each_with_object({}){|value,hash|hash[key]=value}、更に一気にhashのhashを作るには、list.each_with_object(Hash.new{|hash,key|hash[key]={}){|value,hash|hash[key1][key2]=value}Setを作るには、list.each_with_object(Set.new){|value,set|set<<value}の方が、最後に.to_setよりよいでしょう。log.debugを複数回使っているからまとめよ」と言われて弱りました。単純にまとめると、毎回引数を評価しちゃうじゃないですか。でもloggingなので遅延評価が必要でしょう。というわけで、blockを残せるようにmethod定義しました。def debug(&block) Rails.logger.debug(&block); end使う時はdebug{...}です。rescueで=> eとせずとも$!でerrorを参照できるんですね。rescueでretryとすればbeginからまたやってくれるんですね! ただ、上限設けないとずっとretryし続けるので注意ですかね。ApplicationMailerを継承したclassを作成、app/views/class名/method名.html.hamlといったtemplateを用意、という感じでした。html mailだけだとspam判定されやすいとのことなので、app/views/class名/method名.txt.erbも用意しました。classのinstance fieldをmail template中で参照できます。.pluckにした方が速いし軽い、ということでそうしてますが、でもそうすると何のためのDTOなのかと。model定義の意義が少し薄れるような。modelがfatなのが悪い? .pluckでない場合はせめて.selectで選択するfieldを減らしてやって生成されるobjectを少しでも軽くすると。ただActiveRecordからObjectを生成するcostが高いとのことなので、.pluckの方が推奨されています。….selectって、modelにないfieldもselectできるんですね。そしてdynamicにmethodが生えると。なんかそこまで行くと気持ち悪い気がするのは、やはりJava出身だから??yieldはよく使いました。if block_given?も併せて。instance.class::VARIABLEでした。allow(Rails).to receive(:logger).and_return(spy('logger'))とするとloggingが一律空回しになります。allowするにはreceive_message_chain(e.g.expect(SomeClass).to receive_message_chain(:joins, :distinct, :where, :pluck)) .with(...)を複数書いても、それぞれのmethodの引数指定ではなく、最後の一つしか評価されていない?allow(...).to receive(:same_method).with(...)を並列で何度も書けばよいです。with(...)をmethod chainさせるとかではないんですね。double('user', id: 1)→user.id==1(doubleの最初の引数は任意名)create_table時にprimary keyを自動で出来るid以外にしたい場合はcreate_tableの行にprimary_key: key名と書きます。更にforeign key constraintを付け加えたい場合は、その下にadd_foreign_key :table名, :foreign_table名と書けば大丈夫でした。.strftime('%X')とすると一文字で15:37:21に、.strftime('%F')とすると2020-03-01になるので便利です。また、.iso8601とするとTを挟んでTimezone付きで2020-03-01T15:39:10+09:00というようにしてくれるのでこれも便利です。Timecop.travel(Time.parse('2020/3/1 0:01:03')) do ... endで囲うのはいいですね。Timecopも.travel(特定時刻にしてから時を刻む)と.freeze(特定時刻にして時を止める)では違うので注意です。<<がいいみたいですね。C++みたいですね。joinsした方が良いようです。が、図に乗って巨大tableをjoinするとそれはcostがでかいので、分割して引いた方がいいんでしょう。joinsするにはmodelにhas_manyとかの関係が書いてないとダメでした。2つ先の関連も書けて、has_many :second_table, through: :first_tableとthrough:で繋げられました。whereで引いてもそうでないものまでついてきていて、bugを引き起こしていました。ちゃんとやらないとダメですね。joinsで繋ぐ時にjoins(first:[second: :third])とすること。これでちゃんとjoinされました。head :created(201)とかhead :unauthorized(401)と書けます。<<~でよくないすか? <<だと左端にひっつくので。reduceはeach_with_objectに取って代わられるのですが、reduce(&:method)で済むところに活路があるようです。使えたのはSetのmergeですね。[Set.new([1,2,3]),Set.new([2,3,4])].reduce(&:merge)==Set.new([1,2,3,4]).include?するなら絶対Setにすべきですよ。.freezeすべきでしょうか。magic comment # frozen_string_literal: trueで(が?)よいのでしょうか。before_actionのtestを書くことになったのですが、色々と悩みました。どこに書くか? 書いたclass? 使うclass? Javaでabstract classのtestだとconcrete classに書きますが、controllerは使う側に書くと多岐にわたるので、application_controller_spec.rbに書きました。-dでPOSTしたところ、どうもうまく行かなくて、調べるとserver側に"{\"key\":\"value\"}"なんて渡っていました。どうしてー?! HTTP Request HeaderにContetnt-Type: application/jsonが必要なんですね! そういえば。window.location.hrefをassertionしようとして四苦八苦しました。How to mock $window.location.replace in AngularJS unit test?等から得たことは、window.location.hrefだとtest(jasmin)で拾えないので$window.location.hrefにする、responseがemptyだとどうしてもtestの方でcatchしてくれないのでdummy値をresponse代入する、testでは$windowがemptyで悩みました。$provide.value('$window',でprovideしてbeforeEach(inject(function($injector, $rootScope, $httpBackend, $window) {でinjectしつつwindow=$window;と付け替えて、assertionのところでwindowを使う、という。diffで相違は出ますが、共通行を抽出するには? comm -1 -2 file1 file2(但しfilesはsort済であること) ref.２つのファイルの共通行を抽出する方法describe table名ではMulと付くだけでよくわからず。show create table table名でCREATE文を出すことで。get :index,params:{aaa:'AA'}だからget :index,params{...},session:{...}かと思いきや、実際そう書いてあるところもあるんですが、それではうまく行かず、get :index,{param:'something'},{session:'something'}と。ref. RSpec set session objectsome_instance.instance_variable_set('variable_name', 'some value')、getするには`some_instance.instance_variable_get(‘variable_name’)upstart で start した job の設定を変更するには一度 stop する必要がある
へーそうなんだ! ってぃぅか何のためのrestartっすか? restartあるんだから機能すると思いますよねぇ…orz
1.hour.agoがあるのに.laterや.afterはないのでどうするんだろう? と思ったら、1.hour.from_nowっていうんですね。--order random:NNNNNを付けてrandom seedを固定、-f dとして出力formatにclass名を出すようにし、--no-colorでescape sequenceを抑制します。-o filename.logでfileに出力、それをうまく行ったときと失敗した時で保存して、class名を比較しました。当該classのtest以前だけが大事なので、そこだけ出してsortしてdiff取ります。失敗事例が複数取れれば、それらの共通classをcomm -1 -2 <(...) <(...)で抽出するのが良いです。
docker-compose exec rails bash -c 'RAILS_ENV=test bundle exec rspec --order random:32510 -f d -o 32510.log --no-color'
diff <(grep -e '^[A-Za-z]' -e '^ Apis::' controllers2.log|awk '{if(/ApplicationController/){exit}print}'|sort) <(grep -e '^[A-Za-z]' -e '^ Apis::' 32510.log|awk '{if(/ApplicationController/){exit}print}'|sort)|ag '<'
comm -1 -2 <(grep -e '^[A-Za-z]' -e '^ Apis::' controllers2.log|awk '{if(/ApplicationController/){exit}print}'|sort) <(grep -e '^[A-Za-z]' -e '^ Apis::' 4627.log|awk '{if(/ApplicationController/){exit}print}'|sort)
comm -1 -2 <(grep -e '^[A-Za-z]' -e '^ Apis::' controllers2.log|awk '{if(/ApplicationController/){exit}print}'|sort) <(grep -e '^[A-Za-z]' -e '^ Apis::' 48327.log|awk '{if(/ApplicationController/){exit}print}'|sort)|grep -r -l -f /dev/stdin spec/controllers|sort -u|tr -d '\r'
before_actionに指定したprivate methodのtest且つ利用するchild classでのtestではなくbase classでのtestなので、当初はcontorller.send('method_name')とかやってたんですけどこれは本来的ではないな、ということで、Anonymous Controller使いました。といってもdescribeの中でcontroller do ... endして、そこでbefore_action :method_nameしただけのものです。それでそのdescribe内のcontrollerは定義したものになるという、お手軽な。でもここでエラー(Errorをthrow、じゃないRubyだからraiseですか、する筈が正常に終了してしまう)が出て、悩みました。結局、わかってみればどうということはないのですが、他のspec classで、ApplicationController.skip_before_filter :login_requiredをbefore do...でやっていて、でもafter do...で元に戻していなかったから、というのが原因でした。ApplicationController.skip_before_filterなんてせずに、単にallow(controller).to receive(:method)とmockすれば十分です。そうしたらafter do...だって不要ですし。ref. before_filterを分離してテストする方法(Rspec) 別段true返す必要もないんですねこのbefore_actionって。before_filterは古いんだそう。scheduleの確認をするのに。bundle exec whenever$stateProvider.state('...')に定義されたところへ、$state.go('...')で飛びます。ref. Angularjs UI Routerの使い方 でも結局、AngularJSのrouting範囲外に飛ばしたかったので、$window.location.href = ...で飛ばしました。scopeに引数を取る場合には、scope scope_name ->(arg1, arg2) { ... } 矢印とカッコはくっつけないとreekに怒られます。Stringのselectを正規表現でするならgrep(/.../)、-vの場合はgrep_v(Ruby equivalent to grep -v)#以下)に出るのですが、それってそもそもbrowserがserver側に送信しないんですね…User.find(1).update(name:'new name').createとか.updateとかして大丈夫なんですね。大丈夫、というのは、後腐れがない、んですね。allowでmockした時に、.and_returnだけでなく処理(sleep(1))を入れたかったんですけどどうしたら? と思ったら、単にblockでいいんですね。blockの最終評価値がreturnになる、というなら.and_returnって不要なの?