2023年3月14日火曜日

NLP2023 緊急パネル: ChatGPTで自然言語処理は終わるのか? を聴講した

言語処理学会第29回年次大会 (NLP2023) で緊急開催されたセッションを聴講した。こんにちのChatGPTやGPT-3.5 APIが爆発的な普及を鑑みて、昼休憩の時間帯に急遽差し込まれるかたちで実施された。NLPの名だたる研究者らが、この乱世を捉えるための論点を提供してくれた。スピード感が伝わってくる歴史的な大会となった。

大規模言語モデルの発展によって自然言語処理(NLP)の方法論は大きく様変わりした.中でもOpen AIから発表されたChatGPTは言語モデルの利用方法を飛躍的に拡げ,世間からも大きな関心を集めている.ChatGPTに代表される巨大言語モデルの出現でNLPはどう変わるか,はたまた終焉をむかえるのか? 

「実社会での実応用が先行して実施された、やや異常事態」という表現が納得感があった。もっと言うと、最新の尖った技術がギーク層を飛ばしていきなり一般層に普及したわけで、これも珍しい気がする。実際のところ原理もよく分からないうえ、誰も試行錯誤する間もなく、真の向き合い方を知らない状態で一気に繁殖を遂げた。やばい話にも聞こえる。

FrJ98ngaYAElpGs.jpg FrJ99FgakAA9C0R.jpg

この時代を我々はどう生きるか。今日まで抱えていたもにょもにょしていた感覚が自分の中で言語化されてきた。大変勉強になった。近日中に録画も公開されるようなので、ぜひ観てほしい。

2023年3月13日月曜日

言語処理学会第29回年次大会 (NLP2023) に参加

沖縄コンベンションセンターで開催されている言語処理学会に参加している。検索、埋め込み、質問応答、地理空間情報との融合あたりの研究を重点的に聴講する予定。

FrGRMPtaUAAtHoj.jpg FrJQ0AHagAAgEVe.jpg

今日から一週間、沖縄を楽しむぞ〜🌺

2023年3月12日日曜日

美味しいホットケーキを食べて、伊丹空港から沖縄へ出発

今日から出張で沖縄に行きます。初めて使う伊丹空港から飛び立ちます。空港内の丸福珈琲店で、美味しいホットケーキをいただきました。特別な日には、パンケーキかホットケーキを食べる習慣を作ろうと思っているので、今日はその日!ということで、とても楽しみにしていました。

PXL_20230313_012230461.jpg

久しぶりのフライトは、胸躍るものがありますね。前回の沖縄旅行は、コロナ前でしたが、今回はパンデミック後の初めての旅行です。ちょうどマスクの着用が自由化された日でもあり、空港のオペレーションは以前とほぼ同じ感じに戻っていて、日常が帰ってきた感がありました。

さあ、これから沖縄に向けて飛び立ちます!フライト中は、音楽を聴いたり、本を読んだり、仕事を進めたりと、楽しみたいと思います。旅行は、新しい場所での出会いや体験が待っているので、とてもワクワクしますね。

この記事は、ChatGPTを活用してブラッシュアップされました。

2023年3月11日土曜日

ChatGPTに自分のスクボを繋いで対話した

今日もChatGPT APIの話題。

nishio氏のScrapbox ChatGPT ConnectorをScrapboxプロジェクト /daiiz で試してみた。出先で手軽に試せたり、対話の履歴を残したりと便利なのでColabに移植しつつ実行した。とても面白い。

Fq5cr_oXgAANARba.jpg
自分がこれまで書き溜めてきた知識をベースにして検索できる。自分の中の人と対話できる感覚。造語に関する質問「GUIコピとは何ですか?」や、超ニッチな研究ネタ「SVGスクリーンショットについて」なども難なく応えられて凄い。(画像をクリックして拡大できます。)

これを活用して、次に自分が書きそうな同人誌を尋ねてみた。まっとうな答えが得られた。2番目の「XMLとXSLの話題」に関しては、SVGスクリーンショットの本で既に書いている。やはり現実性が高い選択肢を挙げられているのではないだろうか。このリストに先の本が載っていないのも興味深い。執筆済みのネタをうまく避けている可能性が考えられる。

Fq6JSkQXoAAej-y.jpg
「daiizが次に書きそうな本のネタは? 5個挙げよ。」という問いかけに対する結果。

ここまで精度が高いとは思わなかった。コードを読んだ感じだと、基本的には特徴ベクトルの近傍検索がメインぽかった。OpenAIが提供している言語モデルのEmbedding性能が凄まじく良いということだ。検索処理に関して、いくつか工夫を適用してから、もう少しページ数の多いScrapboxでも実験してみたい。

ツールとしてのその他の用途として、飲み会で自分の最近の個人開発のトピックについてスッと出てこないときにも便利そう。ポータブルにして居酒屋でも使えるようにしよう!

2023年3月10日金曜日

テキストと画像を使って検索する

個人開発で、テキストと画像をクエリとしてブックマークと写真を探索できるシステムを作っている。いまのところはElasticsearchとNon AIで古典的な手法を使った単純な検索を実装している。不定期で開発を継続して、ここ半年くらい、なんだかんだ毎日使っている。発見と連想のバランスも絶妙で、いい感じに動いている。


テキスト「bard」(吟遊詩人) で検索すると、Googleの対話型検索エンジン「Bard」のスクリーンショットと『吟遊詩人ビードルの物語』の書影がヒットする。


「フロントエンドの神様」という文字が入った画像で検索すると、「フロントエンド」と「サンド」で曖昧一致したカツサンドの写真と、千と千尋の神隠しの映画で登場する「ひよこの神様」の画像がヒットする。このような検索結果の雑多さが思考を刺激してくれる。ヒントとして表示された画像を選択してクエリに追加してさらに検索を続けられる。


テキストと画像を組み合わたクエリも発行できる。著者名「daiiz」から探索をはじめて、同人誌即売会で頒布した本の写真で絞り込み、この書籍に関する正式なウェブページの情報に辿り着ける。

そろそろこの分野の開発でも、Generative AIの技術革新の波に乗って Vision Transformer (ViT) やこれを応用した Contrastive Language-Image Pre-Training (CLIP) を搭載してみたい。
余談にはなるが、CLIPのアイデアは本当に凄いと思う。文章と画像の情報を同じ特徴空間にマッピングすることで、モデルが捉えられる意味の解像度が上がった。複合分野での柔軟な検索も可能になる。画像に対して「ラベル」でなく「文」で説明をつけられる感じ。従来の画像学習のアプローチと比較して圧倒的な情報量の差が生まれる。

関連論文

2023年3月7日火曜日

ChatGPT APIの使いどころを考える

ChatGPT APIが公開されたので早速試してみている。プロンプト探しの旅。但し書きなど本質以外の文を少しいじっただけで結果の精度が大きく変わるのでチューニングが難しい。本当にこれでいいのかGenerative AI。自然言語でなく、なんかプロンプトの特徴ベクトルみたいな、本質を直接を与えられると嬉しいのだが。

たまたまいい感じの結果を生成してくれる命令を見つけたとしても、それはChatGPT (GPT-3.5) にとっての「いい感じ」なのであって、モデルのバージョンが上がったり他のLLMsのAPIを使う場合は再び探検しないということだよな? このへんのまどろっこしさは受け入れていくしかない? 長期的に考えれば、これを超える十分な創造性が約束されているということを信じるしかないのだろうか。

2023年3月5日日曜日

定点観測: Bing AI

Bing AIさん、自分を何と呼ぶのが一番しっくりくるか試していそう。
この前に見たときは「応答エンジン」だった。いまは「Web向けcopilot」を名乗っている。GitHubのAIによるコーディング支援機能の名称もCopilotですね。

3affa6579fee6cb5dfb760bd9486692b.png 9988e4dccf87b7f6866b0394e2e6b569.png

2023年3月4日土曜日

ポータブルモニターを買った

出張先のホテルで快適にコードを書くための投資。2万円で集中力と没入感を買えるのはコスパが良い。商品選定として、USB Type-Cでの給電は必須。あとは軽ければ軽いほど良いのでスピーカーも不要。残るは画面の大きさを重視する。自分が日頃に持ち運べる限界の大きさも考えた上で、16インチは欲しい。そしてノングレア液晶だと嬉しい。


総合的に満足できそうなものとして、LGからベゼルレスでいい感じのモデルが出ていたのでこれを買った。22年のやつなのでちょっと安くなってきていそう。

PXL_20230305_034012189.jpg PXL_20230305_034020908.jpg
PXL_20230305_034035550.jpg PXL_20230305_034104691.jpg

思っていたよりも薄くて、両サイドにUSBポートがあって、画面下部にメーカーのロゴなどの装飾がなくて最高!

実際に使っている様子はまたどこかで。

2023年3月2日木曜日

マックのアジアンバーガーズを全種類食べた

マクドナルドのアジアンフェア「アジアンバーガーズ」の3種類を期間内にすべて食べれた。

個人的なランキング
  • 1位 油淋鶏チキン
  • 2位 担々ダブルビーフ
  • >>> 高い壁 >>>
  • 3位 スイートチリシュリンプ

リピートしたのは油淋鶏チキンだけだった。今シーズンは、自分の中では珍しく辛さ枠でないメニューがトップになった。世間的にも人気だったのか、後半は地元の店舗はUber Eatsでも売り切れ状態が続いていた。

4月はてりたまかな?

油淋鶏チキン

PXL_20230209_045652587.jpg aaaa.jpg

シンプルに旨い

担々ダブルビーフ

PXL_20230205_103328716_2023030515530803c.jpg a_2023030515530548a.jpg

スイートチリシュリンプ

ooo.jpg

2023年3月1日水曜日

アイドルと論文の追っかけと天体観測

ツイッターで流れてくる機械学習系の論文の大群を眺めて、どうにかして最新の議論に追いつきたいという焦燥感に駆られることがある。大学院時代、GoogleのAlphaGoが世間を賑わせていたくらいの頃に、まさにこんな心理状態だった。
この状況をなんとか過ごすなかで、専門外の"最新"の話題を追いかける時の心得を学んだ。タイムラインで発見している時点で、数ヶ月から二年くらいは既に遅れている、という事実。arXivに論文が掲載された翌日翌週には、さらに高精度な改善手法が提案されている世界である。SNSで読んでいるそれは、流れが速すぎるこの業界においてはすでに過去の産物になっている可能性もある。何光年も離れた星から地球に到達した僅かな光を一生懸命に観測しているように。たったいま理解して感動した手法はすでに無くなっていて、その場所には新しい発明が生まれているかもしれない。

今日のGPT-3の大波も当時によく似ている。ここで下手に焦ってはいけない。今回はさらに事態が悪化しかねない。これまで以上に超絶に興味があり、上手いことやれば面白いものを作り出せる環境に身を置いており、基礎的な勉強をしてしまったばっかりに仕組みや発展の可能性を少し考察できてしまう、というトリプルパンチ。のめり込みすぎず、客観視できる余裕を意識的に持ちたいものだ。

・・・

天体観測といえば、アイドルの追っかけでも通じるものを感じる。推しメンや推しグループを初期から推せていることは珍しくて、卒業間近で魅力に気付き、過去の映像作品を遡って鑑賞しながら最後の数ヶ月だけを全力で応援することも経験してきた。発見が遅れて卒業後にYouTubeで知って後悔することもよくある。ちょっと前までそこで輝いていた存在なのにいまはもう見れない、儚い世界である。

技書博9にサークル参加します

11/25 (土) に開催される第九回 技術書同人誌博覧会にサークル出展します。久しぶりに 東京で 技術同人誌を売ります!! https://gishohaku.dev/ ソフトウェアエンジニアとして生成AI(おもに大規模言語モデル)に慣れるまでの過程で試行錯誤したことや、自作の...