読書をきっかけに書く

本を読み終えて感想を記録するついでに、関連する日常の出来事もさくっと書ける仕組みを作りたい。一冊とじっくり向き合うことは滅多にない。ジャンルも難易度も異なる複数の本を並行して読んだり、引用されていた文献に飛んでしばらく帰ってこなかったりもする。読書のcall stackの可視化とかしてみたい。一方でまったく何も読まずに積読タワーだけが伸びていく時期もある。これに遭遇した本たちには、次の活動期を待ってもらうしかない。読みかけの本に戻ってくる保証はないので、読みたいタイミングを逃さないのが大事ということになる。読書スタイルは日々の生活での興味関心や悩みの持ち方に影響されている。おもしろい。

君たちはどう生きるかを観た

このエントリはネタバレ無しです。

宮崎駿監督の最新映画『君たちはどう生きるか』を観てきた。個人的には少々難しいところもあったけれど良かったと思う。内容とは関係ない話になるが、そもそもテレビでの宣伝やパンフレットなどによる事前情報が全くない状態で映画を観るという体験が初めてだったのでこれ自体も楽しかった。街でも何も見かけなかったし、僕の行った映画館では館内にすらで大きなポスターやパネルもなかった。

ジブリ映画で印象に強く残っているのは小学生の頃に観た『千と千尋の神隠し』だけど、当時はテレビCMも何パターンも用意されていて、ぼんやりとしたイメージのものから始まり、終盤に放映されるものにかけて、ストーリーが見えてしまうほど具体的なものまで、かなりのバリエーションが展開されていた記憶がある。映画と同じくらいCMもよく覚えている。これとは真逆の思い出を作ってもらった。

館内の映画情報ぽいもので唯一撮れた写真が、シアター入口で案内のために掲示されていたこれです。すでにウェブでも公開されている画像と同じで、最後の最後まで事前情報はゼロだった。SNSでの大共有時代にこれだけしか撮れ高がないとは。

どこに書くか2023

ツイッターが不穏な動きになってきているので、そろそろ乗り換え先を探すべきか？

避難先を考えた方がいいのだろうけど、大学の頃からずっと楽しんできた住処なので、そう簡単には離れたくないという気持ちもあってしがみついて今日も生き続ける。

だいぶ前に構想した簡易ブログシステムとこれに搭載できそうな面白い検索のアイデアがあるのだが、初期プロトタイプを作り始める時期だろうか。みんなのテキストが高速に流れる場所と自分だけの居場所感が両立するサービスを作りたいと思っている。

ぼちぼちこのブログを通して真価を言語化しつつ、具体的な設計を進めていきたい。

ここからは雑談。

この記事はBloggerのAndroidアプリで書いた。大枠は音声入力で流れるように書けて、仕上げに細かいところをキーボードからの文字入力で整えれば完成。将来的には、今年の Google I/O で紹介されていたGmail の生成AI「Help me write」のような執筆支援機能をこのアプリでも使えると嬉しい。

いくら軍艦と梅胡瓜巻き

技書博9にサークル参加します

11/25 (土) に開催される第九回 技術書同人誌博覧会にサークル出展します。久しぶりに東京で技術同人誌を売ります！！

https://gishohaku.dev/

ソフトウェアエンジニアとして生成AI（おもに大規模言語モデル）に慣れるまでの過程で試行錯誤したことや、自作の検索エンジンに段階的に組み込んで実践活用していく話を書く予定です。このブログでも要所々々で綴ってきたLLMとの向き合い方に関する自分との対話メモも、これを機に一度振り返ってまとめ直したいですね。

サークル「TeamJ」にぜひお越しください。

ドメインを割り当てた

今日からこのブロクは blog.searchwiki.org でアクセスできます。

やったね！

しめ鯖の押し寿司

2023/6 個人開発の関連支出

2023年6月の個人開発にまつわる出費を振り返っていく。先月は生成AIに絞ってレポートしたけれど、今月からはちょっと範囲を広げて把握していく。AIそのものよりもこれを実行するインフラ環境が高い。

GitHub Copilot

プロトタイプの開発スピードが断然速くなる。多少眠くてもコードが書けるようになる。

$10

ChatGPT Plus

自作のチャット検索システムが整いつつあり、今月はChatGPTのUIではあまり対話していない。新しい機能が開放されたときにいち早くアクセスしたいので課金を続けている。しかしたいていはwaiting listで永遠と待たされている。そろそろ解約してもいい？

$20

ChatGPT API

個人開発で使うLLMのコアの部分。うまくいったら来月には一部はAzureに移れるかも。

$33.97

Google Cloud Platform (研究アプリの実行環境)

ウェブアプリのサーバーや写真データのストレージなど、機械学習に直接的に関連しないサービス利用料金も含む。今月はVertex AIシリーズのベクトル検索エンジン「Vertex AI Matching Engine」を実験していたので費用がかさんでいる。ChatGPT APIを利用した自作の画像検索システムもほぼ毎日使っているのでこのへんの運用費用も無視できない。

https://scrapbox.io/daiiz/Vertex_AI_Matching_Engineを使ってみる

7,094円 + $52.45

Elastic Cloud

Embeddingを用いたベクトル検索との比較のために古典的なテキスト検索も実装している。Elasticsearchは高級品だ。面倒を見る時間がとれないのでフルマネージドな環境を利用させてもらっている。

$26.82

MongoDB Atlas

$0

Cloudflare

オブジェクトストレージR2とCloudflare Workersを使っている。こちらも順調に蓄積している画像データが増えてきたため、そろそろ無料枠を超える可能性があって怯えている。

$0

合計

1ドル＝144円 (2023/7/2 18:45 現在) で換算すると

(10 + 20 + 33.97 + 52.45 + 26.82) * 144 + 7,094 = 27,720円

ひゃ〜〜〜

京都ヨドバシでPiexl Foldのコールドモックを触ってきた

すでにGoogleストアで購入予約済み。8月に届く予定のPixel Foldを一足先に見てきた。感想を書いておく。

• AppleとMicrosoftコーナーに挟まれて、Google Pixelの特設ブースができていた
• このブースには置かれていなかった。Pixel Tablet推しのようだった。Pixel Foldは宣伝にあまり力を入れていない？
• 常設のキャリアの売り場で展示されていた
• 電源オフの実機に触れられた。印刷した画像が貼られており、雰囲気は十分感じ取れる。
• 開閉状態ともに想像よりも薄くて手にフィットする
• 綺麗にほぼ180度開き、隙間なく閉じる
• 全体的に美しい仕上がり
• 薄さから想像するよりもずっしり感があって不思議な感覚
• 開くためにはそれなりに力をかける必要がある。ガラケーのようなパカパカ感はない。使い込んでいるとこのへんの印象も変わってくるのだろうか。

2023/5 AI関連支出

今月の生成AI関連の出費を振り返っていく。「推しは推せるときに推せ」ではないけれど、いまは暇さえあれば全力で色々なGenerative AIのサービスを触っていきたいし、自分でコードを書いて実世界のデータで動かしてもみたい。ほぼ無限予算をあてているので支出は増える一方だけど気にしない！

GitHub Copilot

$10

ChatGPT Plus

$20

ChatGPT API

$33.14

Google Cloud Platform (研究アプリの実行環境)

ウェブアプリのサーバーや写真データのストレージなど、機械学習に直接的に関連しないサービス利用料金も含む。

6,600円

合計

1ドル＝140円 換算

(10 + 20 + 33.14) * 140 + 6600 = 15,439円

大変ですね！！！！

早起き

ここ数日、 なぜか早起きに成功している。街と一緒に起きるといろいろな音が聞こえてくる。街に包まれながらコードを書く。

一周まわって生成AIの使い所はなんだっけ

画像の生成系は自分の予想以上のクリエイティビティとコントローラビリティを発揮していていい感じ。自然文に関しては、滑らかに大量の作文ができて凄いだけ？という第一印象そのままかもしれない。ちょっとしたアイデア出しに付き合ってもらったり、ラフなたたき台を作ったり、日常のどうでもいいこと（夕飯のメニューなど）の意思決定コストを下げるために使うのにはちょうどいい。ただ、少しでも専門的で込み入ったものや正確性を求める話題になると制御が難しくなる。回答の根拠となる長いコンテキストや複雑な知識を与えるのが難しい。ChatGPTに聞くよりも自分の大学・大学院時代のノートに尋ねるほうが良い答えが返ってくる。

別の視点として、日本語を扱うには形態素解析〜係り受け解析という手順を踏まないといけない、というNLP界のこれまでの前提を覆したのが凄いのではないかという友人の話には納得した。一文の解析に躍起になるよりも、大量のデータから訓練したLLMを使って全体のなかでの対象の位置づけから文章の意図を理解する、的ないい発明だった。精度的にも価格的にも高級な意味解析器が手に入ったと理解しておくのが良いのかもしれない。

ChatGPTだけを使って自然文の生成技術を評価するのはフェアではないので、Transformerをベースとする他のモデルのAPIも試してみたい。今夜開催されるGoogle I/O 2023で、グーグル製の大規模言語モデル「PaLM」に関する刺激的なニュースがあることを期待している。

生成AIたわむれ日記

生成AI系のサービスで遊ぶのに忙しい日々。Bing AIの扱いにも慣れてきて、ベータ版のBardの提供も始まった。画像生成系もいろいろ試している。この手のアプリは最近は https://beta.dreamstudio.ai/ がお気に入り。

相変わらずGitHub Copilotには個人開発のコードのたたき台を書かせているし、ChatGPTで雑談やアイデア出しもしている。AIの力でビットマップ画像をベクター画像に変換するサービス https://vectorizer.ai/ も出てきており、今日も3時間くらい夢中になって実験した。ベータ提供中につき、無料で使える。最初からAPIも整備されていて素晴らしい。論文等は見つからず詳細な仕組みはよくわからない。SVG Screenshotプロジェクトで探し求めていた最後のピースになり得るかもしれないので注目している。

やる気がでないときは本を読む

インプットが不足したり摂取する知識のバランスが極端に崩れると不調になる。専門分野に浸かりすぎると自然と不安がこみ上げてくる。最寄り駅のカフェで今後の生き方を考えていた帰り道にふと書店を見つけ、久しぶりに紙媒体の文庫本を買った。ちょっとデジタルに触れない時間を作るのもいいだろう。何事もほどほどに。

NLP2023 緊急パネル: ChatGPTで自然言語処理は終わるのか？ を聴講した

言語処理学会第29回年次大会 (NLP2023) で緊急開催されたセッションを聴講した。こんにちのChatGPTやGPT-3.5 APIが爆発的な普及を鑑みて、昼休憩の時間帯に急遽差し込まれるかたちで実施された。NLPの名だたる研究者らが、この乱世を捉えるための論点を提供してくれた。スピード感が伝わってくる歴史的な大会となった。

https://www.anlp.jp/nlp2023/#special_panel

大規模言語モデルの発展によって自然言語処理（NLP）の方法論は大きく様変わりした．中でもOpen AIから発表されたChatGPTは言語モデルの利用方法を飛躍的に拡げ，世間からも大きな関心を集めている．ChatGPTに代表される巨大言語モデルの出現でNLPはどう変わるか，はたまた終焉をむかえるのか？ 

「実社会での実応用が先行して実施された、やや異常事態」という表現が納得感があった。もっと言うと、最新の尖った技術がギーク層を飛ばしていきなり一般層に普及したわけで、これも珍しい気がする。実際のところ原理もよく分からないうえ、誰も試行錯誤する間もなく、真の向き合い方を知らない状態で一気に繁殖を遂げた。やばい話にも聞こえる。

 

この時代を我々はどう生きるか。今日まで抱えていたもにょもにょしていた感覚が自分の中で言語化されてきた。大変勉強になった。近日中に録画も公開されるようなので、ぜひ観てほしい。

言語処理学会第29回年次大会 (NLP2023) に参加

沖縄コンベンションセンターで開催されている言語処理学会に参加している。検索、埋め込み、質問応答、地理空間情報との融合あたりの研究を重点的に聴講する予定。

 

今日から一週間、沖縄を楽しむぞ〜🌺

美味しいホットケーキを食べて、伊丹空港から沖縄へ出発

今日から出張で沖縄に行きます。初めて使う伊丹空港から飛び立ちます。空港内の丸福珈琲店で、美味しいホットケーキをいただきました。特別な日には、パンケーキかホットケーキを食べる習慣を作ろうと思っているので、今日はその日！ということで、とても楽しみにしていました。

久しぶりのフライトは、胸躍るものがありますね。前回の沖縄旅行は、コロナ前でしたが、今回はパンデミック後の初めての旅行です。ちょうどマスクの着用が自由化された日でもあり、空港のオペレーションは以前とほぼ同じ感じに戻っていて、日常が帰ってきた感がありました。

さあ、これから沖縄に向けて飛び立ちます！フライト中は、音楽を聴いたり、本を読んだり、仕事を進めたりと、楽しみたいと思います。旅行は、新しい場所での出会いや体験が待っているので、とてもワクワクしますね。

この記事は、ChatGPTを活用してブラッシュアップされました。

ChatGPTに自分のスクボを繋いで対話した

今日もChatGPT APIの話題。

nishio氏のScrapbox ChatGPT ConnectorをScrapboxプロジェクト /daiiz で試してみた。出先で手軽に試せたり、対話の履歴を残したりと便利なのでColabに移植しつつ実行した。とても面白い。

自分がこれまで書き溜めてきた知識をベースにして検索できる。自分の中の人と対話できる感覚。造語に関する質問「GUIコピとは何ですか？」や、超ニッチな研究ネタ「SVGスクリーンショットについて」なども難なく応えられて凄い。（画像をクリックして拡大できます。）

これを活用して、次に自分が書きそうな同人誌を尋ねてみた。まっとうな答えが得られた。2番目の「XMLとXSLの話題」に関しては、SVGスクリーンショットの本で既に書いている。やはり現実性が高い選択肢を挙げられているのではないだろうか。このリストに先の本が載っていないのも興味深い。執筆済みのネタをうまく避けている可能性が考えられる。

「daiizが次に書きそうな本のネタは？ 5個挙げよ。」という問いかけに対する結果。

ここまで精度が高いとは思わなかった。コードを読んだ感じだと、基本的には特徴ベクトルの近傍検索がメインぽかった。OpenAIが提供している言語モデルのEmbedding性能が凄まじく良いということだ。検索処理に関して、いくつか工夫を適用してから、もう少しページ数の多いScrapboxでも実験してみたい。

ツールとしてのその他の用途として、飲み会で自分の最近の個人開発のトピックについてスッと出てこないときにも便利そう。ポータブルにして居酒屋でも使えるようにしよう！

テキストと画像を使って検索する

個人開発で、テキストと画像をクエリとしてブックマークと写真を探索できるシステムを作っている。いまのところはElasticsearchとNon AIで古典的な手法を使った単純な検索を実装している。不定期で開発を継続して、ここ半年くらい、なんだかんだ毎日使っている。発見と連想のバランスも絶妙で、いい感じに動いている。

テキスト「bard」(吟遊詩人) で検索すると、Googleの対話型検索エンジン「Bard」のスクリーンショットと『吟遊詩人ビードルの物語』の書影がヒットする。

「フロントエンドの神様」という文字が入った画像で検索すると、「フロントエンド」と「サンド」で曖昧一致したカツサンドの写真と、千と千尋の神隠しの映画で登場する「ひよこの神様」の画像がヒットする。このような検索結果の雑多さが思考を刺激してくれる。ヒントとして表示された画像を選択してクエリに追加してさらに検索を続けられる。

テキストと画像を組み合わたクエリも発行できる。著者名「daiiz」から探索をはじめて、同人誌即売会で頒布した本の写真で絞り込み、この書籍に関する正式なウェブページの情報に辿り着ける。

そろそろこの分野の開発でも、Generative AIの技術革新の波に乗って Vision Transformer (ViT) やこれを応用した Contrastive Language-Image Pre-Training (CLIP) を搭載してみたい。

余談にはなるが、CLIPのアイデアは本当に凄いと思う。文章と画像の情報を同じ特徴空間にマッピングすることで、モデルが捉えられる意味の解像度が上がった。複合分野での柔軟な検索も可能になる。画像に対して「ラベル」でなく「文」で説明をつけられる感じ。従来の画像学習のアプローチと比較して圧倒的な情報量の差が生まれる。

関連論文

• https://arxiv.org/abs/2010.11929 (An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)
• https://arxiv.org/abs/2210.08901 (Contrastive Language-Image Pre-Training with Knowledge Graphs)

ChatGPT APIの使いどころを考える

ChatGPT APIが公開されたので早速試してみている。プロンプト探しの旅。但し書きなど本質以外の文を少しいじっただけで結果の精度が大きく変わるのでチューニングが難しい。本当にこれでいいのかGenerative AI。自然言語でなく、なんかプロンプトの特徴ベクトルみたいな、本質を直接を与えられると嬉しいのだが。

たまたまいい感じの結果を生成してくれる命令を見つけたとしても、それはChatGPT (GPT-3.5) にとっての「いい感じ」なのであって、モデルのバージョンが上がったり他のLLMsのAPIを使う場合は再び探検しないということだよな？ このへんのまどろっこしさは受け入れていくしかない？ 長期的に考えれば、これを超える十分な創造性が約束されているということを信じるしかないのだろうか。

定点観測: Bing AI

Bing AIさん、自分を何と呼ぶのが一番しっくりくるか試していそう。

この前に見たときは「応答エンジン」だった。いまは「Web向けcopilot」を名乗っている。GitHubのAIによるコーディング支援機能の名称もCopilotですね。

 

ポータブルモニターを買った

出張先のホテルで快適にコードを書くための投資。2万円で集中力と没入感を買えるのはコスパが良い。商品選定として、USB Type-Cでの給電は必須。あとは軽ければ軽いほど良いのでスピーカーも不要。残るは画面の大きさを重視する。自分が日頃に持ち運べる限界の大きさも考えた上で、16インチは欲しい。そしてノングレア液晶だと嬉しい。

総合的に満足できそうなものとして、LGからベゼルレスでいい感じのモデルが出ていたのでこれを買った。22年のやつなのでちょっと安くなってきていそう。

LG gram +view 16MQ70 | モバイルモニター | LGエレクトロニクス・ジャパン

 

 

思っていたよりも薄くて、両サイドにUSBポートがあって、画面下部にメーカーのロゴなどの装飾がなくて最高！

実際に使っている様子はまたどこかで。